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Welcom to the Node.js Platform 


Node.js 的 发 展 


e 技术 本 身 的 发 展 
e 庞大 的 Node.js 生态 圈 的 发 展 
e。 官方 组 织 的 维护 


Node.js 的 特点 


小 模块 
以 package 的 形式 尽 可 能 多 的 复 用 模块 ， 原 则 上 每 个 模块 的 容量 尽量 小 而 精 。 
原则 : 


。 "Small is beautiful" --- 小 而 精 
。 "Make each program do one thing well" --- 单 一 职责 原则 


因此 ， 一 个 Node.js 应 用 由 多 个 包 搭建 而 成 ， 包 管理 器 ( npm ) 的 管理 使 得 他 
们 相互 依赖 而 不 起 冲突 。 
如 果 设 计 一 个 Node.js 的 模块 ， 尽 可 能 做 到 以 下 三 点 : 
。 易于 理解 和 使 用 
e 多 于 测试 和 维护 
e 考虑 到 对 客户 端 ( 浏 览 器 ) 的 支持 更 友好 
以 及 ， Don't Repeat Yourself(DRY) 复 用 性 原则 。 
以 接口 形式 提供 
每 个 Node.js 模块 都 是 一 个 函数 (类 也 是 以 构造 函数 的 形式 呈现 ) ， 我 们 只 需要 


调用 相关 API 即 可 ， 而 不 需要 知道 其 它 模块 的 实现 。 Node.js 模块 是 为 了 使 用 
它们 而 创建 ， 不 仅仅 是 在 拓展 性 上 ， 更 要 考虑 到 维护 性 和 可 用 性 。 


人 昌 
简单 且 实 用 
“简单 就 是 终极 的 复杂 ”一 一 一 一 达尔 文 


遵循 KISS(Keep It Simple，Stupid) 原 则 ， 即 优秀 的 简洁 的 设计 ， 能 够 更 有 效 
地 传递 信息 。 


设计 必须 很 简单 ， 无 论 在 实现 还 是 接口 上 ， 更 重要 的 是 实现 比 接口 更 简单 ， 简 单 是 
重要 的 设计 原则 。 


我 们 做 一 个 设计 简单 ， 功 能 完备 ， 而 不 是 完美 的 软件 : 


实现 起 来 需要 更 少 的 努力 

允许 用 更 少 的 速度 进行 更 快 的 运输 资源 
具有 伸缩 性 ， 更 易于 维护 和 理解 

促进 社区 贡献 ， 人 允许 软 件 本 身 的 成 长 和 改进 


而 对 于 Node ,js 而 言 ， 因 为 其 支持 JavaScript ， 简 单 和 函数 、 闭 包 、 对 象 等 特 
性 ， 可 取代 复杂 的 面向 对 象 的 类 语法 。 如 单 例 模式 和 装饰 者 模式 ， 它 们 在 面向 对 象 
的 语言 都 需要 很 复杂 的 实现 ， 而 对 于 JavaScript 则 较为 简单 。 


介绍 Node.js 6 和 ES2015 的 新 语法 


let 和 const 关 键 字 


ES5 之 前 ， 只 有 部 数 和 全 局 作用 域 。 


if (false) { 
var x = "hello"; 
} 


console.log(x); // undefined 


现在 用 let ， 创 建 词 法 作用 域 ， 则 会 报 出 一 个 错 
误 Uncaught ReferenceError: x is not defined 


if " (false) { 
let x = "hello"; 
} 


console.1log(x); 


在 循环 语句 中 使 用 let ， 也 会 报 


错 Uncaught ReferenceError: i is not defined 


for (let i = 0; i < 10; i++) { 
// do something here 


} 


console.1og(i); 


使 用 let 和 const 关键 字 ， 可 以 让 代码 更 安全 ， 如 果 意 外 的 访问 另 一 个 作用 域 
的 变量 ， 更 容易 发 现 错误 。 


使 用 const 关键 字 声 明 变 量 ， 变 量 不 会 被 意外 更 改 。 


const x = 'This will never change ' 


头 天 三 汪 二 全 


这 里 会 报 出 一 个 错 
误 Uncaught TypeError: Assignment to constant variable. 


但 是 对 于 对 象 属 性 的 更 改 ， const 显得 毫 无 办 法 : 


const x = {}; 
x.name = 'John'; 


上 述 代 码 并 不 会 报错 
但 是 如 果 直 接 更 改 对 象 ， 还 是 会 抛 出 一 个 错误 。 


const x = { 
x = null; 


实际 运用 中 ， 我 们 使 用 const 引入 模块 ， 防 止 意 外 被 更 改 : 


const path = require('path'); 
let path = './some/path'; 


上 述 代码 会 报错 ， 提 醒 我 们 意外 更 改 了 模块 。 


如 果 需 要 创建 不 可 变 对 象 ， 只 是 简单 的 使 用 const 是 不 够 的 ， 需 要 使 
用 0bject.freeze() 或 deep-freeze 


我 看 了 一 下 源码 ， 其 实 很 少 ， 就 是 递归 使 用 0bject.freeze() 


module.exports = function deepFreeze (0) { 
Object ,freeze(o)， 


0bject ,getownPropertyNames(0o),.forEach(function (prop) { 
If (o,hasownProperty(prop) 


&& o[prop] !== Null 
&& (typeof o[prop] === "object" || typeof o[prop] === "funct 
下 On 


&& I!0bject.isFrozen(o[prop])) { 
deepFreeze(of[prop]); 


} 
}); 


return o; 


jr 


箭头 函数 
箭头 辑 数 更 易于 理解 ， 特 别 是 在 我 们 定义 回调 的 时 候 : 


const numbers = [2, 6, 7, 8, 1]; 
const even = numbers.filter(function(x) { 
return x % 2 === 0; 


}); 
使 用 箭头 函数 语法 ， 更 简洁 : 


const numbers = [2, 6, 7, 8, 1]; 
const even = numbers.filter(x => x % 2 === 0),，; 


如 果 不 止 一 个 革 E0UI 话 句 则 使 用 放 >%0 


const numbers = [2, 6, 7, 8, 1]; 
const even = numbers.filter((x) => { 
(2 0 
console.log(x + ' is even'); 
return true; 


最 重要 是 ， 箭 头 函 数 绑 定 了 它 的 词法 作用 域 ， 其 this 与 父 级 代码 块 的 this 相 


function DelayedGreeter(name) { 
this.name = name; 


} 


DelayedGreeter.prototype.greet = function() { 
setTimeout(function cb() { 
console.log('Hello' + this.name); 
5900 


} 


const greeter = new DelayedGreeter('World'); 
greeter.greet(); // 'Hello' 


要 解决 这 个 问题 ， 使 用 箭头 隐 数 或 bind 


function DelayedGreeter(name) { 
this.name = name; 


} 


DelayedGreeter.prototype.greet = function() { 
setTimeout(function cb() { 
console.log('Hello' + this.name); 
}.bind(this), 500); 
} 


const greeter = new DelayedGreeter('World'); 
greeter.greet(); // 'Helloworld' 


或 者 箭头 函数 ， 与 父 级 代码 块 作用 域 相同 : 


function DelayedGreeter(name) { 
this.name = name; 


} 


DelayedGreeter.prototype.greet = function() { 
setTimeout(() => console.log('Hello' + this.name), 500); 


} 


const greeter = new DelayedGreeter('Wor]ld'); 
greeter.greet(); // 'Helloworld' 


类 语法 糖 


class 是 原型 继承 的 语法 糖 ， 对 于 来 自传 统 的 面向 对 象 语 言 的 所 有 开发 人 员 
(如 Java 和 C# ) 来 说 更 熟悉 ， 新 语法 并 没有 改变 JavaScript 的 运行 特征 ， 
通过 原型 来 完成 更 加 方便 和 易 读 。 


传统 的 通过 构造 器 + 原型 的 写法 : 


function Person(name, surname, age) { 
this.name = name; 
this.surname = surname; 
this.age = age; 


} 


Person.prototype.getFullName = function() { 
return this.name + '' + this.surname; 
} 


Person.older = function(personi1, person2) { 
return (personi.age >= person2.age) ? personi1 : person2; 
} 


使 用 class 语法 显得 更 加 简洁 、 方 便 、 易 懂 : 


class Person { 
constructor(name, surname, age) { 
this.name = name; 
this.surname = surname; 
this.age = age; 


} 


getFullName() { 
return this.name + '' + this.surname; 


} 


static older(personi, person2) { 
return (personi.age >= person2.age) ? person1 : person2 
} 
} 


但 是 上 面 的 实现 是 可 以 互 换 的 ， 但 是 ， 对 于 class 语法 来 说 ， 最 有 意义 的 
是 extends 和 super 关键 字 。 


class PersonWithMiddlename extends Person { 
constructor(name, middlename, surname, age) { 
super(name, surname, age); 
this.middlename = middlename; 


} 


getFullName() { 
return this.name + '' + this.middlename + '' + this.surname; 
} 
} 


这 个 例子 是 站 正 的 面向 对 象 的 方式 ， 我 们 声明 了 一 个 希望 被 继承 的 类 ， 定 义 新 的 构 
造 跨 ， 并 可 以 使 用 super 关键 字 调 用 父 构 造 器 ， 并 重 写 getFullName 方法 ， 使 
得 其 支持 middlename 。 


对 象 字 面 量 的 新 语法 
允许 缺 省 值 : 


Coons X22 
Const y= 
const obj = { x, y }; 


允许 省 略 方法 名 


module.exports = { 
square(x) { 
return x * x; 


}, 
cube(x) { 
netunrn x x; 
}, 
}; 
key 的 计算 属性 
const namespace = '-webkit-'; 


const style = { 

[namespace + 'box-sizing']: 'border-box', 
[namespace + 'box-shadow']: '1i0px 10px 5px #888', 
}; 


新 的 定义 getter 和 setter 方 式 


const person = { 
name: 'George', 
Surname: 'Boole', 


get fullname() { 
return this.name + ' ' + this.surname; 


}, 


set fullname(fullname) { 
let parts = fullname.split(" '); 
this.name = parts[0]; 
this.surname = parts[1]; 


} 
}; 
console.log(person.fullname); // "George Boole" 
console.log(person.fulilname = 'Alan Turing'); // "Alan Turing" 


console.log(person.name); // "Alan" 
这 里 ， 第 二 个 console,1og 触发 了 set 方法 。 
模板 字符 串 


其 它 ES2015 语 法 


函数 默认 参数 
剩余 参数 语法 
拓展 运算 符 
解构 赋值 
new.target 
代理 

反射 

Symbol 


reactor 模 式 


reactor 模 式 是 Node.js 异步 编程 的 核心 模块 ， 其 核心 概念 
是 : 单线 程 、 非 阻塞 I/0 ， 通 过 下 列 例子 可 以 看 
到 reactor 模 式 在 Node.js 平台 的 体现 。 


IO 是 缓慢 的 


在 计算 机 的 基本 操作 中 ， 输 入 输出 肯定 是 最 慢 的 。 访 问 内 存 的 速度 是 纳 秒 级 
( 16e-9 s )， 同 时 访问 磁盘 上 的 数据 或 访问 网 络 上 的 数据 则 更 慢 ， 是 毫秒 级 
( 10e-3 s )。 内 存 的 传输 速度 一 般 认 为 是 GB/s 来 计算 ， 然 而 磁盘 或 网 络 的 访问 


速度 则 比较 慢 ， 一 般 是 MB/s 。 虽 然 对 于 CPU 而 言 ， I/0 操作 的 资源 消耗 并 不 
算 大 ， 但 是 在 发 送 I/0 请 求 和 操作 完成 之 间 总 会 存在 时 间 延 迟 。 除 此 之 外 ， 我 们 
还 必须 考虑 人 为 因素 ， 通 常情 况 下 ， 应 用 程序 的 输入 是 人 为 产生 的 ， 例 如 : 按钮 的 
点 击 、 即 时 聊天 工具 的 信息 发 送 。 因 此 ， 输 入 输出 的 速度 并 不 因 网 络 和 磁盘 访问 速 
率 慢 造成 的 ， 还 有 多 方面 的 因素 。 


阻塞 I/O 


在 一 个 阻塞 I/0 模型 的 进程 中 ， I/0 请 求 会 阻塞 之 后 代码 块 的 运行 。 在 I/0 请 
求 操作 完成 之 前 ， 线 程 会 有 一 段 不 定 长 的 时 间 浪 费 。 ( 它 可 能 是 毫秒 级 的 ， 但 甚至 
有 可 能 是 分 钟 级 的 ， 如 用 户 按 着 一 个 按键 不 放 的 情况 ) 。 以 下 例子 就 是 一 

个 阻塞 I/0 模型 。 


// 直到 请 求 完 成 ， 数 据 可 用 ， 线 程 都 是 阻塞 的 
data = socket.read(); 

// 请 求 完 成 ， 数 据 可 用 

print(data) 


我 们 知道 ， 阻塞 I/0 的 服务 器 模型 并 不 能 在 一 个 线程 中 处 理 多 个 连接 ， 每 

次 I/0 都 会 阻塞 其 它 连 接 的 处 理 。 出 于 这 个 原因 ， 对 于 每 个 需要 处 理 的 并 发 连 
接 ， 传 统 的 web 服务器 的 处 理 方式 是 新 开 一 个 新 的 进程 或 线程 (或 者 从 线程 池 中 重 
用 一 个 进程 ) 。 这 样 ， 当 一 个 线程 因 I/0 操作 被 阻塞 时 ， 它 并 不 会 影响 另 一 个 线 
程 的 可 用 性 ， 因 为 他 们 是 在 彼此 独立 的 线程 中 处 理 的 。 


通过 下 面 这 张 图 : 
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通过 上 面 的 图 片 我 们 可 以 看 到 每 个 线程 都 有 一 段 时 间 处 于 空闲 等 待 状态 ， 等 待 从 关 
联 连接 接收 新 数据 。 如 果 所 有 种 类 的 I/0 操作 都 会 阻塞 后 续 请 求 。 例 如 ， 连 接 数 
据 库 和 访问 文件 系统 ， 现 在 我 们 能 很 快 知晓 一 个 线程 需要 因 等 待 I/0 操作 的 结果 
等 待 许 多 时 间 。 不 幸 的 是 ， 一 个 线程 所 持 有 的 CPU 资源 并 不 廉价 ， 它 需要 消耗 内 
存 、 造 成 CPU 上 下 文 切 换 ， 因 此 ， 长 期 占有 CPU 而 大 部 分 时 间 并 没有 使 用 的 线 
程 ， 在 资源 利用 率 上 考虑 ， 并 不 是 高 效 的 选择 。 


非 阻塞 JO 


除 阻塞 I/0 之 外 ， 大 部 分 现代 的 操作 系统 支持 另外 一 种 访问 资源 的 机 制 ， 

即 非 阻塞 I[/0 。 在 这 种 机 制 下 ， 后 续 代 码 块 不 会 等 到 I/0 请 求 数据 的 返回 之 后 再 
执行 。 如 果 当 前 时 刻 所 有 数据 都 不 可 用 ， 函 数 会 先 返 回 预 先 定义 的 常量 值 

(如 undefined )， 表 明 当 前 时 刻 暂 无 数据 可 用 。 


例如 ， 在 Unix 操作 系统 中 ， fcnt1() 函数 操作 一 个 已 存在 的 文件 描述 符 ， 改 变 

其 操作 模式 为 非 阻塞 I/0 (通过 0_NONBLOCK 状态 字 )。 一 旦 资源 是 非 阻塞 模式 ， 

如 采 读 取 文 件 操作 没有 可 读 取 的 数据 ,或 者 如 果 写 文件 操作 被 阻塞 , 读 操作 或 写 操作 
返回 -1 和 EAGAIN 错误 。 


非 阻 塞 I/0 最 基本 的 模式 是 通过 轮 询 获取 数据 ， 这 也 叫做 忙 -等 模型 。 看 下 面 这 个 
例子 ， 通 过 非 阻塞 I/0 和 轮 询 机 制 获取 I/0 的 结果 。 


resources = [socketA, socketB, pipeA]; 
while(!resources.isEmpty()) { 
for (i = 0; i < resources.length; i++) { 
resource = resources[i]; 
/ // 进 行 1 二 操 人 人 和 


let data = resource.read ( ); 


if (data === NO_DATA_AVAILABLE) { 
站 
continue; 

} 

wide ,RESOURCE. 3 { 
// 资源 被 释放 ， 从 队 列 : 车 授 
resources. i 

} else { 
consumeData(data ) ; 

} 


} 
} 


我 们 可 以 看 到 ， 通 过 这 个 简单 的 技术 ， 已 经 可 以 在 一 个 线程 中 处 理 不 同 的 资源 了 ， 
但 依然 不 是 高 效 的 。 事 实 上 ， 在 前 面 的 例子 中 ， 用 于 和 迭代 资源 的 循环 只 会 消耗 宝贵 
的 CPU ， 而 这 些 资源 的 浪费 比 起 阻塞 I/0 反而 更 不 可 接受 ， 轮 询 算法 通常 浪费 大 


写 


量 CPU 时 间 。 


事件 多 路 复 用 


对 于 获取 非 阻 塞 的 资源 而 言 ， 忙 -等 模型 不 是 一 个 理想 的 技术 。 但 是 幸运 的 是 ， 大 
多 数 现 代 的 操作 系统 提供 了 一 个 原生 的 机 制 来 处 理 并 发 ， 非 阻塞 资源 (同步 事件 多 
路 复 用 器 ) 是 一 个 有 效 的 方法 。 这 种 机 制 被 称 作 事件 循环 机 制 ， 这 种 事件 收集 

和 I/0 队 列 源 于 发 布 -订阅 模式 。 事 件 多 路 复 用 器 收集 资源 的 I/0 事件 并 且 把 这 
些 事 件 放 入 队列 中 ， 直 到 事件 被 处 理 时 都 是 阻塞 状态 。 看 下 面 这 个 伪 代 码 : 


socketA, pipeB， 

wachedList,add(socketA， FOR_READ ) ; 
wachedList.add(pipeB, FOR_READ ) ， 

while(events = demultiplexer.watch(wachedList)) { 


// 事件 循环 


foreach(event in events) { 


// 这 里 并 不 会 阻塞 ， 并 且 总 会 有 返回 值 (不 管 是 不 是 确切 的 值 ) 
data = event ,resource .read () ; 
if (data === RESOURCE CLOSED) { 
// 资源 已 经 被 释放 ， 从 观察 者 队列 移 除 
demultiplexer.unwatch(event.resource); 
} else { 
// 成 功 拿 到 资源 ， 放 入 缓冲 池 
consumeData(data ) ; 


事件 多 路 复 用 的 三 个 步骤 : 





资源 被 添加 到 一 个 数据 结构 中 ， 为 每 个 资源 关联 一 个 特定 的 操作 ， 在 这 个 例子 
中 是 read 。 

事件 通知 器 由 一 组 被 观察 的 资源 组 成 ， 一 旦 事件 即将 触发 ， 会 调用 同步 
的 watch 元 数 ， 并 返回 这 个 可 被 处 理 的 事件 。 

最 后 ， 处 理事 件 多 路 复 用 器 返回 的 每 个 事件 ， 此 时 ， 与 系统 资源 相关 联 的 事件 
将 被 读 并 且 在 整个 操作 中 都 是 非 阻塞 的 。 直 到 所 有 事件 都 被 处 理 完 时 ， 事 件 多 
路 复 用 器 会 再 次 阻塞 ， 然 后 重复 这 个 步骤 ， 以 上 就 是 event loop 。 


ldle time [ 


Connection A 





Connection B handle data handle data handle data 
一 人 


from A from C from B 


Connection C 


上 图 可 以 很 好 的 帮助 我 们 理解 在 一 个 单线 程 的 应 用 程序 中 使 用 同步 的 时 间 多 路 复 用 
器 和 非 阻 塞 I/0 实现 并 发 。 我 们 能 够 看 到 ， 只 使 用 一 个 线程 并 不 会 影响 我 们 处 理 
多 个 I/0 任务 的 性 能 。 同 时 ， 我 们 看 到 任务 是 在 单个 线程 中 随 着 时 间 的 推移 而 展 
开 的 ， 而 不 是 分 散在 多 个 线程 中 。 我 们 看 到 ， 在 单线 程 中 传播 的 任务 相对 于 多 线程 
中 传播 的 任务 反而 节约 了 线程 的 总 体 空 闪 时 间 ， 并 且 更 利于 程序 员 编 写 代 码 。 在 这 
Cd ， 你 可 以 看 到 我 们 可 以 用 更 简单 的 并 发 策略 ， 因 为 不 需要 考虑 多 线程 的 互 斤 
和 同步 问题 。 


在 下 一 章 中 ， 我 们 有 更 多 机 会 讨论 Node.js 的 并 发 模型 。 


介绍 reactor 模 式 

现在 来 说 reactor 模 式 ， 它 通过 一 种 特殊 的 算法 设计 的 处 理 程序 (在 Node.js 中 
是 使 用 一 个 回调 函数 表示 ) ， 一 旦 事件 产生 并 在 事件 循环 中 被 处 理 ， 那 么 相 

关 handler 将 会 被 调用 。 


它 的 结构 如 图 所 示 : 
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reactor 模 式 的 步骤 为 : 


@ 应 用 程序 通过 提交 请 求 到 时 间 多 路 复 用 器 产 se I/0 操作 。 应 用 程序 
指定 handler ， handler 在 操作 完成 后 被 调用 。 提 交 请 求 到 事件 多 路 复 用 
ee 其 调用 所 以 会 立马 返回 ， 将 执行 权 返 回 给 应 用 程序 。 

。 当 一 组 I/0 操作 完成 ， 事 件 多 路 复 用 器 会 将 这 些 新 事件 添加 到 事件 循环 队列 
中 o 

e@ 此 时 ， 事 件 循环 会 迭代 事件 循环 队列 中 的 每 个 事件 。 

e@ 对 于 每 个 事件 ， 对 应 的 handler 被 处 理 。 

e handler ， 是 应 用 程序 代码 的 一 部 分 ， handler 执行 结束 后 执行 权 会 
事件 循环 。 但 是 ， 在 handler 执行 时 可 能 请 求 新 的 异步 操作 ， 
被 添加 到 事件 多 路 复 用 器 。 

@ 当 事 件 循环 队列 的 全 部 事件 被 处 理 完 后 ， 循 环 会 在 事件 多 路 复 用 器 再 次 阻塞 直 
到 有 一 个 新 的 事件 可 处 理 触 发 下 一 次 循环 。 


我 们 现在 可 以 定义 Node.js 的 核心 模式 : 


模式 (反应 器 ) 阻 塞 处 理 I/0 到 在 一 组 观察 的 资源 有 新 的 事件 可 处 理 ， 然 后 以 分 派 每 
个 事件 对 应 handler 的 方式 反应 。 


OS 的 非 阻 塞 /O 引 擎 


每 个 操作 系统 对 于 事件 多 路 复 用 器 有 其 自身 的 接 

口 ，Linux 是 epol1 ， Mac 0SX 是 kqueue ， Windows 的 IOCP API 。 除 
外 ， 即 使 在 相同 的 操作 系统 中 ， 每 个 I/0 操作 对 于 不 同 的 资源 表现 不 一 样 。 例 
如 ， 在 Unix 下 ， 普 通 文件 系统 不 支持 非 阻塞 操作 ， 所 以 ， 为 了 模拟 非 阻塞 行为 ， 
需要 使 用 在 事件 循环 外 用 一 个 独立 的 线程 。 所 有 这 些 平台 内 和 跨 平 台 的 不 一 致 性 需 
要 在 事件 多 路 复 用 器 的 上 层 做 抽象 。 这 就 是 为 什么 Node.js 为 了 兼容 所 有 主流 平 
台 而 编写 C 语 言 库 libuv ， 目 的 就 是 为 了 使 得 Node,js 兼容 所 有 主流 平台 和 规 
范 化 不 同类 型 资源 的 非 阻 塞 行为 。 1ibuv 今天 作为 Node.js 的 I/0 引擎 的 底 
层 。 


Node.js Essential Patterns 


对 于 Node.js 而 言 ， 异 步 特性 是 其 最 显著 的 特征 ， 但 对 于 别 的 一 些 语言 ， 例 
如 PHP ， 就 不 常 处 理 异步 代码 。 


在 同步 的 编程 中 ， 我 们 习惯 于 把 代码 的 执行 想象 为 自 上 而 下 连续 的 执行 计算 步骤 。 
每 个 操作 都 是 阻塞 的 ， 这 意味 着 只 有 在 一 个 操作 执行 完成 后 才能 执行 下 一 个 操作 ， 
这 种 方式 利于 我 们 理解 和 调试 。 

然而 ， 在 异步 的 编程 中 ， 我 们 可 以 在 后 台 执 行 诸 如 读 取 文 件 或 执行 网 络 请 求 的 一 些 
操作 。 当 我 们 在 调用 异步 操作 方法 时 ， 即 使 当前 或 之 前 的 操作 尚未 完成 ， 下 面 的 后 
续 操作 也 会 继续 执行 ， 在 后 台 执 行 的 操作 会 在 任意 时 刻 执行 完毕 ， 并 且 应 用 程序 会 
在 异步 调用 完成 时 以 正确 的 方式 做 出 反应 。 


虽然 这 种 非 阻塞 方法 相 比 于 阻塞 方法 性 能 更 好 ， 但 它 实在 是 让 程序 员 难 以 理解 ， 并 
且 ， 在 处 理 较 为 复杂 的 异步 控制 流 的 高 级 应 用 程序 时 ， 有 异步 顺 序 可 能 会 变 得 难以 操 
作 。 

Node.js 提供 了 一 系列 工具 和 设计 模式 ， 以 便 我 们 最 佳 地 处 理 蜡 步 代 码 。 了 解 如 
何 使 用 它们 编写 性 能 和 多 于 理解 和 调试 的 应 用 程序 非常 重要 。 


在 本 章 中 ， 我 们 将 看 到 两 个 最 重要 的 异步 模式 : 回调 和 事件 发 布 


人 


4 
O 
应 


你 


回调 模式 


在 上 一 章 中 介绍 过 ， 回 调 是 reactor 模 式 的 handler 的 实例 ， 回 调 本 来 就 

是 Node.js 独特 的 编程 风格 之 一 。 回 调 函 数 是 在 异步 操作 完成 后 传播 其 操作 结果 
的 函数 ， 总 是 用 来 替代 同步 操作 的 返回 指令 。 而 JavaSscript 恰好 就 是 表示 回调 
的 最 好 的 语言 。 在 Javascript 中 ， 函 数 是 一 等 公民 ， 我 们 可 以 把 函数 变量 作为 
参数 传递 ， 并 在 另 一 个 函数 中 调用 它 ， 把 调用 的 结果 存储 到 某 一 数据 结构 中 。 实 现 
回调 的 另 一 个 理想 结构 是 闭 包 。 使 用 闭 包 ， 我 们 能 够 保留 函数 创建 时 所 在 的 上 下 文 
环境 ， 这 样 ， 无 论 何 时 调用 回调 ， 都 保持 了 请 求 异 步 操作 的 上 下 文 。 


在 本 节 中 ， 我 们 分 析 基于 回调 的 编程 思想 和 模式 ， 而 不 是 同步 操作 的 返回 指令 的 模 
式 。 


CPS 


在 JavaScript 中 ， 回 调 函数 作为 参数 传递 给 另 一 个 函数 ， 并 在 操作 完成 时 调 

用 。 在 函数 式 编程 中 ， 这 种 传递 结果 的 方法 被 称 为 CPS 。 这 是 一 个 一 般 概念 ， 而 
且 不 只 是 对 于 异步 操作 而 言 。 实 际 上 ， 它 只 是 通过 将 结果 作为 参数 传递 给 另 一 个 函 
数 (回调 函数 ) 来 传递 结果 ， 然 后 在 主体 逻辑 中 调用 回调 函数 拿 到 操作 结果 ， 而 不 
是 直接 将 其 返回 给 调用 者 。 


同步 CPS 


为 了 更 清晰 地 理解 CPS ， 让 我 们 来 看 看 这 个 简单 的 同步 函数 


funeeronmada(ar oo 
return a + b; 


} 


上 面 的 例子 成 为 直接 编程 风格 ， 其 实 没什么 特别 的 ， 就 是 使 用 return 语句 把 结 
直接 传递 给 调用 者 。 它 代表 的 是 同步 编程 中 返回 结果 的 最 常见 方法 。 上 述 功能 
的 CPS 写法 如 下 : 


function add(a, b, callback) { 
callback(a + b); 
} 


add() 巴 em We 的 CPS 函数 ， CPS 函数 只 会 在 它 调用 的 时 候 才 会 拿 
到 add() 函数 的 执行 结果 ， 下 列 代码 就 是 其 调用 方式 : 


console.log('before' ); 
add(1, 2, result => console.log('Result: ' + result)); 
console.1log('after'); 


既然 add() 是 同步 的 ， 那 么 上 述 代 码 会 打印 以 下 结果 : 


before 
Result: 3 
after 


异步 CPS 
那 我 们 思考 下 面 的 这 个 例子 ， 这 里 的 add() 函数 是 异步 的 : 


function additionAsync(a, b, callback) { 
setTimeout(() => callback(a + b), 100); 


在 上 边 的 代码 中 ， 我 们 使 用 Se oe) 模拟 异步 回调 函数 的 调用 。 现 在 ， 我 
们 调用 additionalAsync ， 并 查看 具体 的 输出 结果 。 


conSsole.1og( 'before ' ); 
additionAsync(1, 2, result => console.log('Result: ' + result)); 
console.log('after'); 


上 述 代码 会 有 以 下 的 输出 结果 : 


before 
after 
Result: 3 


因为 setTimeout() 是 一 个 异步 操作 ， 所 以 它 不 会 等 待 执行 回调 ， 而 是 立即 返 

回 ， 将 控制 权 交 给 addAsync() ， 然 后 返回 给 其 调用 者 。 Node.js 中 的 此 属性 至 
关 重 要 ， 因 为 只 要 有 异步 请 求 产 生 ， 控 制 权 就 会 交 给 事件 循环 ， 从 而 允许 处 理 来 自 
队列 的 新 事件 。 


下 面 的 图 片 显 示 了 Node.js 中 事件 循环 过 程 : 


Function invocation 
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callback(a + b) 


console.log('Result: 
十 result) 





当 有 异步 操 作 完 成 时 ， 执 行 权 就 会 交 给 这 个 异步 操作 开始 的 地 方 ， 即 回调 函数 。 执 行 
将 从 事件 循环 开始 ， 所 以 它 将 有 一 个 新 的 堆栈 。 对 于 JavaScript 而 言 ， 这 是 它 
的 优势 所 在 。 正 是 由 于 闭 包 保存 了 其 上 下 文 环境 ， 即 使 在 不 同 的 时 间 点 和 不 同 的 位 
置 调用 回调 ， 也 能 够 正常 地 执行 。 


同步 函数 在 其 完成 操作 之 前 是 阻塞 的 。 而 异步 函数 立即 返回 ， 结 果 将 在 事件 循环 的 
稍 后 循环 中 传递 给 处 理 程序 (在 我 们 的 例子 中 是 一 个 回调 ) 。 
非 CPS 风 格 的 回调 模式 


某 些 情 况 下 情况 下 ， 我 们 可 能 会 认为 回调 CPS 式 的 写法 像 是 异步 的 ， 然 而 并 不 是 。 
比如 以 下 代码 ， Array 对 象 的 map() 方法 : 


const result = [1, 5, 7].map(element => element - 工 ) 
console.log(result); // [90, 4, 6] 


在 上 述 例子 中 ， 回 调 仅 用 于 迭代 数组 的 元 素 ， 而 不 是 传递 操作 的 结果 。 实 际 上 ， 这 
A 回 ， 而 非 传递 结果 。 是 否 是 传递 操作 结果 的 回调 
常 在 API 文档 有 明确 说 明 。 


步 还 是 异步 ? 


| 已 经 看 到 代码 的 执行 顺序 步 或 异步 的 执行 方式 产生 根本 性 的 改变 。 这 对 

整个 应 用 程序 的 流程 ， 正 确 ， 生 了 重大 影响 。 以 下 是 对 这 两 种 模式 及 其 
缺陷 的 分 析 。 一 般 来 说 ， 必 须 避 免 的 是 由 于 其 执行 顺序 不 一 致 导致 的 难以 检测 和 拓 
展 的 混乱 。 下 面 是 一 个 有 陷阱 的 异步 实例 : 


一 个 有 问题 的 函数 


最 危险 的 情况 之 一 是 在 特定 条 件 下 同步 执行 本 应 异步 执行 的 API 。 以 下 列 代码 为 
例 : 


const fs = requlire( -fs )， 
const cache = {}; 


function inconsistentRead(filename, callback) { 
I (cache[filename]) 


// 如 果 缓 存 命中 ， 则 同步 执行 回调 
callback(cache[filename|); 

} else { 
// 未 命中 ， 则 执行 异步 非 阻塞 的 I/0 操 作 


en 人 (err, data) => { 
cache[filename] = data; 
callback(data); 
}); 
} 
} 


上 述 功能 使 用 缓存 来 存储 不 同文 件 读 取 操 作 的 结果 。 不 过 记得 ， 这 只 是 一 个 例子 ， 
它 缺 少 错误 处 理 ， 并 且 其 缓存 逻辑 本 身 不 是 最 佳 的 【比如 没有 缓存 淘汰 策略 ) 。 除 
此 之 外 ， 上 述 函数 是 非常 危险 的 ， 因 为 如 果 没 有 设置 高 速 缓存 ， 管 的 行为 起 玫 沁 
的 ， 直 到 fs,readFile() 函数 返回 结果 为 止 ， 它 都 不 会 同步 执行 ， 这 时 缓存 并 不 
会 触发 ， 而 会 去 走 异 步 回调 调用 。 


解放 zalgo 
关于 zalgo ， 其 实 就 是 指 同步 或 异步 行为 的 不 确定 性 ， 几 乎 总 是 导致 非常 难 追踪 


的 bug 。 


现在 ， 我 们 来 看 看 如 何 使 用 一 个 不 可 预测 其 顺序 的 函数 ， 它 甚至 可 以 轻松 地 中 断 一 
个 应 用 程序 。 看 以 下 代码 : 


function createFileReader(filename) { 
const listeners = []; 
inconsistentRead(filename, value => { 
listeners.forEach(listener => listener(value)); 
}); 
return { 
onDataReady: listener => listeners.push(listener) 
}; 
} 


当 上 述 函数 被 调用 时 ， 它 创建 一 个 充当 事件 发 布 器 的 新 对 象 ， 允 许 我 们 为 文件 读 取 
操作 设置 多 个 事件 监听 器 。 当 读 取 操作 完成 并 且 数 据 可 用 时 ， 所 有 的 监 监听 器 将 被 立 
即 被 调用 。 前 面 的 函数 使 用 之 前 定义 的 inconsistentRead() 函数 来 实现 这 个 功 
能 。 我 们 现在 尝试 调用 createFileReader() 函数 : 


const reader1 = createFileReader('data.txt'); 
reader1.onDataReady(data => { 
console.log('First call data: ' + data); 
// 之 后 再 次 通过 fs 读 取 同一 个 文件 
const reader2 = createFileReader('data.txt'); 
reader2.onDataReady(data => { 
console.log('Second call data: ' + data); 


}); 


之 后 的 输出 是 这 样 的 : 
04_callback_unpredictable git 





First call data: some data 


下 面 来 分 析 为 何 第 二 次 的 回调 没有 被 调用 : 


在 创建 readerl 的 时 候 ， inconsistentRead() 函数 是 异步 执行 的 ， 这 时 没有 
可 用 的 缓存 结果 ， 因 此 我 们 有 时 间 注 册 事 件 监听 器 。 在 读 操作 完成 后 ， 它 将 在 下 一 
次 事件 循环 中 被 调用 。 


然后 ， 在 事件 循环 的 循环 中 创建 reader2 ， 其 中 所 请 求 文件 的 缓存 已 经 存在 。 在 
这 种 情况 下 ， 内 部 调用 inconsistentRead( ) 将 是 同步 的 。 所 以 ， 它 的 回调 将 被 
立即 调用 ， 这 意味 着 reader2 的 所 有 监听 器 也 将 被 同步 调用 。 然 而 ， 在 创 

建 reader2 之 后 ， 我 们 才 开 始 注 册 监 听 器 ， 所 以 它们 将 永远 不 被 调用 。 


inconsistentRead() 回调 函数 的 行为 是 不 可 预测 的 ， 因 为 它 取决 于 许多 因素 ， 
例如 调用 的 频率 ， 作 为 参数 传递 的 文件 名 ， 以 及 加 载 文件 所 花费 的 时 间 等 。 


在 实际 应 用 中 ， 例 如 我 们 刚刚 看 到 的 错误 可 能 会 非常 复杂 ， 难 以 在 丨 实 应 用 程序 中 
识别 和 复制 。 想 象 一 下 ， 在 Web 服 务 器 中 使 用 类 似 的 功能 ， 可 以 有 多 个 并 发 请 求 ; 
想象 一 下 这 些 请 求 挂 起 ， 没 有 任何 明显 的 理由 ， 没 有 任何 日 志 被 记录 。 这 绝对 属于 
烦人 的 bug 。 


npm 的 创始 人 和 以 前 的 Node.js 项 目 负 责 人 Isaac Z. Schlueter 在 他 的 一 
博客 文章 中 比较 了 使 用 这 种 不 可 预测 的 功能 来 释放 Zalgo 。 如 果 您 不 熟 
悉 Zalgo 。 可 以 看 看 lsaac Z. Schlueter 的 原始 帖子 。 


使 用 同步 API 


从 上 述 关 于 zalgo 的 示例 中 ， 我 们 知道 ， API 必须 清楚 地 定义 其 性 质 : 是 同步 
的 还 是 异步 的 ? 


我 们 合适 fix 上 述 的 inconsistentRead() 函数 产生 的 bug 的 方式 是 使 它 完 全 
同步 阻塞 执行 。 并 且 这 是 完全 可 能 的 ， 因 为 Node.js 为 大 多 数 基 本 I/0 操作 提 
供 了 一 组 同步 方式 的 API 。 人 例如， 我 们 可 以 使 用 fs.readFilesync() 函数 来 代 
替 它 的 异步 对 等 体 。 代 码 现在 如 下 


Const fs = require( fs ), 
const cache = {}; 


function consistentReadSync(filename) { 
If (cache[filename]) { 
return cache[filenamel]; 
} else { 
cache[filename] = fs.readFileSync(filename, 'utf8'); 
return cache[filename ] ， 


} 
} 


我 们 可 以 看 到 整个 函数 被 转化 为 同步 阻塞 调用 的 模式 。 如 果 一 个 函数 是 同步 的 ， 那 
么 它 不 会 是 CPS 的 风格 。 事 实 上 ， Se ， 使 用 CPS 来 实现 一 个 同步 

的 API 一 直 是 最 住 实践 ， 这 将 消除 其 性 质 上 的 任何 混乱 ， 并 且 从 性 能 角度 来 看 也 
将 更 加 有 效 。 

请 记 住 ， 将 API 从 CPS 更 改 为 直接 调用 返回 的 风格 ， 或 者 说 从 弄 步 步 的 风 


， 我 们 必须 完全 改变 我 们 的 MA 为 
， 并 使 其 适应 于 始终 工作 。 


另外 ， 使 用 同步 API 而 不 是 异步 API ， 要 特别 注意 以 下 注意 事项 : 


@ 同步 API 并 不 适用 于 所 有 应 用 场景 。 

e@ 同步 API ST 于 阻塞 状态 。 它 会 破 
坏 JavaScript 的 并 发 模型 ， 其 至 使 得 整个 应 用 程序 的 性 能 下 降 。 我 们 将 在 
本 书后 面 看 到 这 对 我 们 的 应 用 程序 的 影响 。 


在 我 们 的 inconsistentRead() 函数 中 ， 因 为 每 个 文件 名 仅 调用 一 次 ， 所 以 同步 
阻塞 调用 而 对 应 用 程序 造成 的 影响 并 不 大 ， 并 且 缓 存 值 将 用 于 所 有 后 续 的 调用 。 如 
果 我 们 的 静态 文件 的 数量 是 有 限 的 ， 那 么 使 用 consistentReadSync() 将 不 会 对 
我 们 的 事件 循环 产 生 很 大 的 影响 。 如 果 我 们 文件 数量 很 大 并 且 都 需要 被 读 取 一 次 ， 
而 且 对 性 能 要 求 较 高 的 情况 下 ， "我们 不 建议 在 Node.js 中 使 用 同步 I/O 。 然 
而 ， 在 某 些 情况 下 ， 同 步 I/0 可 能 是 最 简单 和 最 有 效 的 解决 方案 。 所 以 我 们 必须 
正确 评估 具体 的 应 用 场景 ， 以 选择 最 为 合适 的 方案 。 上 述 实例 其 实说 明 : 在 实际 应 
用 程序 中 使 用 同步 阻塞 API 加 载 配置 文件 是 非常 有 意义 的 。 


因此 ， 记得 只 有 不 影响 应 用 程序 并 发 角 EE 力 时 才 考 虑 使 用 同步 阻塞 I/0O “。 


延 时 处 理 


另 一 种 fix 上 述 的 inconsistentRead() 函数 产生 的 bug 的 方式 是 让 它 仅 仅 是 

异步 的 。 这 里 的 解决 办 法 是 下 一 次 事件 循环 时 同步 调用 ， 而 不 是 在 相同 的 事件 循环 

周期 中 立即 运行 ， 使 得 其 实际 上 是 异步 的 。 在 Node.js 中 ， 可 以 使 

。 _process ,nextTick() ， 它 延迟 函数 的 执行 ， 直 到 下 一 次 传递 事件 循环 。 它 的 
能 非常 简单 ， 它 将 回调 作为 参数 ， 并 将 其 推送 到 事件 队列 的 顶部 ， 在 任何 未 处 理 

村 I/0 事件 前 ， 并 立即 返回 。 一 旦 事件 循环 再 次 运行 ， 就 会 立刻 调用 回调 。 


所 以 看 下 列 代 码 ， 我 们 可 以 较 好 的 利用 这 项 技术 处 理 inconsistentRead() 的 异 
步 顺 序 : 


const fs = require('fs'); 
const cache = {}; 


function consistentReadAsync(filename, callback) { 
Th J { 


// 下 一 次 事件 循环 立即 调用 
=> Callback(cache[filename] ) ) ， 
} else { 
// 异步 IX0 操 作 
fs.readFile(filename, 'utf8', (err, data) => { 
cache[filename] = data; 


callback(data); 
Ne 


现在 ， 上 述 函 数 保证 在 任何 情况 下 异步 地 调用 其 回调 函数 ， 解 决 了 上 述 bug 。 


另 一 个 用 于 延迟 执行 代码 的 API 是 setImmediate() 。 虽 然 它 们 的 作用 看 起 来 非 

常 相 似 ， 但 实际 含义 却 截然 不 同 。 process.nextTick() 的 回调 函数 会 在 任何 其 

他 I/0 操作 之 前 调用 ， 而 对 于 setImmediate() 则 会 在 其 它 I/0 操作 之 后 调 

J 由 于 process.,nextTick() 在 其 它 的 I/0 之 前 调用 ， 因 此 在 某 些 情况 下 可 能 
导致 I/0 进入 无 限期 等 待 ， 例 如 递归 调用 process.nextTick() 但 是 对 

， setImmediate() 则 不 会 发 生 这 种 情况 。 当 我 们 在 本 书后 面 分 析 使 用 延迟 调用 

来 运行 同步 CPU 绑 定 任务 时 ， 我 们 将 深入 了 解 这 两 种 API 之 间 的 区 别 。 


我 们 保证 通过 使 用 process,nextTick() 异步 调用 其 回调 函数 。 


Node.js 回 调 风格 


对 于 Node.js 而 言 ， CPS 风格 的 API 和 回调 函数 遵循 一 组 特殊 的 约定 。 这 些 约 
定 不 只 是 适用 于 Node.js 核心 API ， 对 于 它们 之 后 也 是 绝 大 多 数 用 户 级 模块 和 
应 用 程序 也 很 有 意义 。 因 此 ， 我 们 了 解 这 些 风 格 ， 并 确保 我 们 在 需要 设计 异 

步 API 时 遵守 规定 显得 至 关 重 要 。 


回调 总 是 最 后 一 个 参数 


在 所 有 核心 Node,js 方法 中 ， 标 准 约定 是 当 函 数 在 输入 中 接受 回调 时 ， 必 须 作 为 
最 后 一 个 参数 传递 。 我 们 以 下 面 的 Node.js 核心 API 为 例 : 


fs.readFile(filename, [options], callback); 


从 前 面 的 例子 可 以 看 出 ， 即 使 是 在 可 选 参 数 存 在 的 情况 下 ， 回 调 也 始终 置 于 最 后 的 
位 置 。 其 原因 是 在 回调 定义 的 情况 下 ， 函 数 调 用 更 可 读 。 


错误 处 理 总 在 最 前 


在 CPS 中 ， 错 误 以 不 同 于 正确 结果 的 形式 在 回调 函数 中 传递 。 

在 Node.js 中 ， CPS 风格 的 回调 函数 产生 的 任何 错误 总 是 作为 回调 的 第 一 个 参 
数 传递 ， 并 且 任 何 实际 的 结果 从 第 二 个 参数 开始 传递 。 如 果 操 作成 功 ， 没 有 错误 ， 
第 一 个 参数 将 为 null 或 undefined 。 看 下 列 代码 : 


fs.readFile('foo.txt', 'utf8', (err, data) => { 
if (err) 
handleError(err); 
else 
processDatal(data); 


}); 


上 面 的 例子 是 最 好 的 检测 错误 的 方法 ， 如 果 不 检测 错误 ， 我 们 可 外 难以 发 现 和 调试 
代码 中 的 bug ， 但 另外 一 个 要 考虑 的 问题 是 错误 总 是 为 Error 类 型 ， 这 意味 着 
简单 的 字符 串 或 数字 不 应 该 作为 错误 对 象 传递 (难以 被 try catch 代码 块 捕 


获 ) 。 
错误 传播 
对 于 同步 阻塞 的 写法 而 言 ， 我 们 的 错误 都 是 通过 throw 语句 抛 出 ， 即 使 错误 在 错 
误 栈 中 跳 转 ， 我 们 也 能 很 好 地 捕获 到 错误 上 下 文 。 
但 是 对 于 CPS 风格 的 异步 调用 而 言 ， 通 过 把 错误 传递 到 错误 栈 中 的 下 一 个 回调 来 
完成 ， 下 面 是 一 个 典型 的 例子 : 

const fs = requlire( fs )， 

function readJSON(filename，callback) { 


fs.readFile(filename, 'utf8', (err, data) => { 
let parsed; 


if (err) 

// 如 果 有 错误 产生 则 退出 当前 调用 
return callback(err); 

[BL a 


// 解析 文件 中 的 数据 
parsed = JSON.parse(data); 
eateh (0 { 
// 捕获 解析 中 的 错误 ， 如 果 有 错误 产生 ， 则 进行 错误 处 理 
return Gane 


// 没有 错误 ， 调 用 回调 
cee parsed ) ， 
ny 
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从 上 面 的 例子 中 我 们 注意 到 的 细节 是 当 我 们 想 要 正确 地 进行 异常 处 理 时 ， 我 们 如 何 
. Callback 此 外 ， 当 有 错误 产生 时 ， 我 们 使 用 了 return 语句 ， 立 
退出 当前 函数 调用 ， 避 免 进 行 下 面 的 相关 执行 。 


不 可 捕获 的 异常 


从 上 述 readJSON() 函数 ， 为 了 避免 将 任何 异常 抛 到 fs.readFile() 的 回调 函数 
中 捕获 ， 我 们 对 JSON.parse() 周围 放置 一 个 try catch 代码 块 。 在 异步 回调 中 
一 旦 出 错 ， 将 抛 出 异常 ， 并 跳 转 到 事件 循环 ， 不 把 错误 传播 到 下 一 个 回调 函数 去 。 


在 Node.js 中 ， 这 是 一 个 不 可 恢复 的 状态 ， 应 用 程序 会 关闭 ， 并 作 全 区 了 下 到 村 
准 输出 中 。 为 了 证 明 这 一 点 人 汪 试 从 之 前 定义 的 readJSON() 函数 中 删 
除 try catch 代码 块 : 


const fs = require( fs'),; 


function readJSONThrows(filename, callback) { 
fs.readFile(filename, 'utf8', (err, data) => { 
If (err) { 
return callback(err); 
// 假设 parse 的 执行 没有 错误 
callback(null, JSON.parse(data)); 
}); 
}; 


在 上 面 的 代码 中 ， 我 们 没有 办 法 捕获 到 JSON.parse 产生 的 异常 ， 如 果 我 们 尝试 
传递 一 个 非 标准 JSON 格式 的 文件 ， 将 会 抛 出 以 下 错误 : 
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SyntaxError: Unexpected token d 

at Object.parse (native) 

a [| 

at fs,js:266:14 

at Object.oncomplete (fs.js:107:15) 


现在 ， 如 果 我 们 看 看 前 面 的 错误 栈 跟 踪 ， 我 们 将 看 到 它 从 fs 模块 的 某 处 开始 ， 恰 
好 从 本 地 API 完成 文件 读 取 返 回 到 fs,readFile() 函数 ， 通 过 事件 循环 。 这 些 
信息 都 很 清楚 地 显示 给 我 们 ， 弄 常 从 我 们 的 回调 传 入 堆栈 ， 然 后 直接 进入 事件 循 

环 ， 最 终 被 捕获 并 抛 出 到 控制 台中 。 这 也 意味 着 使 用 try catch 代码 块 包装 

对 readJSONThrows() 的 调用 将 不 起 作用 ， 因 为 块 所 在 的 堆栈 与 调用 回调 的 堆栈 
不 同 。 以 下 代码 显示 了 我 们 刚才 描述 的 相反 的 情况 : 


LE 
readJSONThrows('nonJSON.txt', function(err, result) { 
AOL 


}); 
} catch (err) { 
console.log('This will not catch the JSON parsing exception'); 


} 


前 面 的 catch 语句 将 永远 不 会 收 到 JSON 解析 异常 ， 因 为 它 将 返回 到 抛 出 异常 的 
堆栈 。 我 们 刚刚 看 到 堆栈 在 事件 循环 中 结束 ， 而 不 是 触发 异步 操作 的 功能 。 如 前 所 
述 ， 应 用 程序 在 异常 到 达 事 件 循环 的 那 一 刻 中 止 ， 然 而 ， 我 们 仍然 有 机 会 在 应 用 程 
序 终止 之 前 执行 一 些 清理 或 日 志 记 录 。 事 实 上 ， 当 这 种 情况 发 生 时 ， Node.js 会 
在 退出 进程 之 前 发 出 一 个 名 为 uncaughtException 的 特殊 事件 。 以 下 代码 显示 了 
一 个 示例 用 例 : 


process.on('uncaughtException', (err) => { 
console.error('This will catch at last the ' + 
'JSON parsing exception: ' + err.message); 
// Terminates the application with 1 (error) as exit code: 
// without the following line, the application would continue 
process.exit(1); 


} 2 
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重要 的 是 ， 未 被 捕获 的 异常 会 使 应 用 程序 处 于 不 能 保证 一 致 的 状态 ， 这 可 能 导致 不 
可 预见 的 问题 。 例 如 ， 可 能 还 有 不 完整 的 I/0 请 求 运行 或 关闭 可 能 会 变 得 不 一 
致 。 这 就 是 为 什么 总 是 建议 ， 特 别 是 在 生产 环境 中 ， 在 接收 到 未 被 捕获 的 异常 之 后 
写 上 述 代 码 进 行 错误 日 志 记 录 。 


模块 系统 及 相关 模式 


模块 不 仅 是 构建 大 型 应 用 的 基础 ， 其 主要 机 制 是 封装 内 部 实现 、 方 法 与 变量 ， 通 过 
接口 。 在 本 节 中 ， 我 们 将 介绍 Node.js 的 模块 系统 及 其 最 常见 的 使 用 模式 。 


关于 模块 

JavaScript 的 主要 问题 之 一 是 没有 命名 空间 。 在 全 局 范围 内 运行 的 程序 会 污染 
全 局 命名 空间 ， 造 成 相关 变量 、 数 据 、 方 法 名 的 冲突 。 解 决 这 个 问题 的 技术 称 为 模 
块 模式 ， 看 下 列 代 码 : 


const module = (() => { 
const privateFoo = () => { 
AAA 
}; | 
const privateBar = 
const exported = { 
publicFoo: () => { 


/a 
}, 
publicBar: () => { 
AE 
} 
}; 
return exported; 
})(); 


console.log(module); 


此 模式 利用 自 执行 匿名 遂 数 实现 模块 ， 仅 导出 由 希望 被 公开 调用 的 部 分 。 在 上 面 的 
代码 中 ， 模 块 变量 只 包含 导出 的 API ， 而 其 余 的 模块 内 容 实 际 上 从 外 部 访问 不 
到 。 我 们 将 在 稍 后 看 到 ， 这 种 模式 背后 的 想法 被 用 作 Node.js 模块 系统 的 基础 。 


Node.js 模 块 相关 解释 


CommonJS 是 一 个 由 在 规范 JavaScript 生态 系统 的 组 织 ， 他 们 提出 

了 CommonJS 模 块 规范 。 Node.js 在 此 规范 之 上 构建 了 其 模块 系统 ， 并 添加 了 一 
些 自 定义 的 扩展 。 为 了 描述 它 的 工作 原理 ， 我 们 可 以 通过 这 样 一 个 例子 解释 模块 模 
式 ， 每 个 模块 都 在 私有 命名 空间 下 运行 ， 这 样 模块 内 定义 的 每 个 变量 都 不 会 污染 全 
局 命名 空间 。 


自 定 义 模 块 系统 


为 了 解释 模块 系统 的 远离 ， 让 我 们 从 头 开始 构建 一 个 类 似 的 模块 系统 。 下 面 的 代码 
创建 一 个 模仿 Node ,js 原始 require() 函数 的 功能 。 


我 们 先 创建 一 个 加 载 模块 内 容 的 函数 ， 将 其 包装 到 一 个 私有 的 命名 空间 内 : 


function loadModule(filename, module, require) { 
const wrappedSrc = “(function(module, exports, require) { 
${fs.readFileSync(filename, 'utf8"')} 
})(module, module.exports, require); ;，; 
eval(wrappedSrc); 


} 


模块 的 源 代码 被 包装 到 一 个 函数 中 ， 如 同 自 执行 匿名 况 数 那样 。 这 里 的 区 别 在 于 ， 
我 们 将 一 些 固 有 的 变量 传递 给 模块 ， 特 指 module ， exports 和 require 。 注 
意 导出 模块 的 参数 是 module.exports 和 exports ， 后 面 我 们 将 再 讨论 。 


请 记 住 ， 这 只 是 一 个 例子 ， 在 丨 实 项 目 中 可 不 要 这 么 做 。 诸 如 eval() 或 vm 模块 
有 可 能 导致 一 些 安全 性 的 问题 ， 它 人 可 能 利用 漏洞 来 进行 注入 攻击 。 我 们 应 该 非常 
小 心地 使 用 甚至 完全 避免 使 用 eval 。 


我 们 现在 来 看 模块 的 接口 、 变 量 等 是 如 何 被 require() 函数 引入 的 : 


const requlire = (moduleName) => { 
console.log( Require invoked for module: ${moduleName} ); 
const id = reguire.resolve(moduleName); 
// 是 否 命中 缓存 
if (require.cache[id]) { 
return require.cache[id].exports,; 
// 定义 module 
const module = { 
exports: {}, 
id: id 
}; 
// 新 模块 引入 ， 存 入 缓存 
require.cache[id] = module; 
// 加 载 模 块 
loadModule(id, module, require); 
// 返回 导出 的 变量 
return module.exports 
}; 
require.cache = {0}; 
regquire.resolve = (moduleName) => { 
/* 通过 模块 名 作为 参数 resolve 一 个 完整 的 模块 */ 


了 


上 面 的 函数 模拟 了 用 于 加 载 模块 的 原生 Node.js 的 require() 函数 的 行为 。 当 
然 ， 这 只 是 一 个 demo ， 它 并 不 能 准确 且 完整 地 反映 require() 函数 的 丨 实行 
为 ， 但 是 为 了 更 好 地 理解 Node.js 模块 系统 的 内 部 实现 ， 定义 模块 和 加 载 模块 。 
我 们 的 自制 模块 系统 的 功能 如 下 : 


e。 模块 名 称 被 作为 参数 传 入 ， 我 们 首先 做 的 是 找寻 模块 的 完整 路 径 ， 我 们 称 之 
为 id 。 require.resolve() 专门 负责 这 项 功能 ， 它 通过 一 个 特定 的 解析 算 
法 实现 相关 功能 〈 稍 后 将 讨论 ) 。 

e@ 如 果 模 块 已 经 被 加 载 ， 它 应 该 存在 于 缓存 。 在 这 种 情况 下 ， 我 们 立即 返回 缓存 
中 的 模块 。 

e。 如 果 模 块 尚未 加 载 ， 我 们 将 首次 加 载 该 模块 。 创 建 一 个 模块 对 象 ， 其 中 包含 一 
个 使 用 空 对 象 字 面值 初始 化 的 exports 属性 。 该 属性 将 被 模块 的 代码 用 于 导 
出 该 模块 的 公共 API 。 

。 缓存 首次 加 载 的 模块 对 象 。 

@ 模块 源 代 码 从 其 文件 中 读 取 ， 代 码 被 导入 ， 如 前 所 述 。 我 们 通 
过 require() 有 函数 向 模块 提供 我 们 刚刚 创建 的 模块 对 象 。 该 模块 通过 操作 或 
替换 module.exports 对 象 来 导出 其 公共 APl 。 

e。 最 后 ， 将 代表 模块 的 公共 API 的 module.exports 的 内 容 返 回 给 调用 者 。 


正如 我 们 所 看 到 的 ， Node.js 模块 系统 的 原理 并 不 是 想象 中 那么 高 深 ， 只 不 过 是 
通过 我 们 一 系列 操作 来 创建 和 导入 导出 模块 源 代码 。 


定义 一 个 模块 


通过 查看 我 们 的 自 定 义 require() 函数 的 工作 原理 ， 我 们 现在 既然 已 经 知道 如 何 
定义 一 个 模块 。 再 来 看 下 面 这 个 例子 : 


// 加 载 另 一 个 模块 
const dependency = require('./anotherModule'); 
// 模块 内 的 私有 函数 


Unmctnongliodgl (全 二 人 
console.log( Well done ${dependency.username} ) ， 


1 通过 导出 API 实 现 共有 方法 

module.exports.run = () => { 
10g(); 

}; 


需要 注意 的 是 模块 内 的 所 有 内 容 都 是 私有 的 ， 除 非 它 被 分 配 
给 module.exports 变量 。 然 后 ， 当 使 用 require() 加 载 模块 时 ， 缓 存 并 返回 此 
变量 的 内 容 。 


定义 全 局 变量 


即使 在 模块 中 声明 的 所 有 变量 和 函数 都 在 其 本 地 范围 内 定义 ， 仍 然 可 以 定义 全 局 变 
量 。 事 实 上 ， 模 块 系统 公开 了 一 个 名 为 global 的 特殊 变量 。 分 配给 此 变量 的 所 有 
内 容 将 会 被 定义 到 全 局 环境 下 。 

注意 : 污染 全 局 命名 空间 是 不 好 的 ， 并 且 没 有 充分 运用 模块 系统 的 优势 。 所 以 ， 只 
有 丨 的 需要 使 用 全 局 变量 ， 才 去 使 用 它 。 


module.exports 和 exports 


对 于 许多 还 不 熟悉 Node.js 的 开发 人 员 而 言 ， 他 们 最 容易 混 消 的 

是 exports 和 module.exports 来 导出 公共 API 的 区 别 。 变 量 export 只 是 
对 module.exports 的 初始 值 的 引用 ;我 们 已 经 看 到 ， exports 本 质 上 在 模块 加 
载 之 前 只 是 一 个 简单 的 对 象 。 


这 意味 着 我 们 只 能 将 新 属性 附加 到 导出 变量 引用 的 对 象 ， 如 以 下 代码 所 示 : 


exports.hello = () => 1{ 
console.log('Hello' ); 
} 


重新 给 exports 赋值 并 不 会 有 任何 影响 ， 因 为 它 并 不 会 因此 而 改 
变 module.exports 的 内 容 ， 它 只 是 改变 了 该 变量 本 身 。 因 此 下 列 代码 是 错误 
的 : 


exports = () => { 
console.log('Hello' ); 
} 


如 果 我 们 想 要 导出 除 对 象 之 外 的 内 容 ， 比 如 函数 ， 我 们 可 以 
给 module .exports 重新 赋值 : 


module.exports = () => { 
console.log('Hello' ); 


} 


require 函 数 是 同步 的 


另 一 个 重要 的 细节 是 上 述 我 们 写 的 require() 有 函数 是 同步 的 ， 它 使 用 了 一 个 较为 
简单 的 方式 返回 了 模块 内 容 ， 并 且 不 需要 回调 函数 。 因 此 ， 对 
于 module.exports 也 是 同步 的 ， 例 如 ， 下 列 的 代码 是 不 正确 的 : 


setTimeout(() => { 
module.exports = function() { 
Yh 


通过 这 种 方式 导出 模块 会 对 我 们 定义 模块 产生 重要 的 影响 ， 因 为 它 限 制 了 我 们 同步 
定义 并 使 用 模块 的 方式 。 这 实际 上 是 为 什么 核心 Node.js 库 提供 同步 API 以 代 
替 异 步 API 的 最 重要 的 原因 之 一 。 


如 果 我 们 需要 定义 一 个 需要 异步 操作 来 进行 初始 化 的 模块 ， 我 们 也 可 以 随时 定义 和 
导出 需要 我 们 异步 初始 化 的 模块 。 但 是 这 样 定 义 异 步 模块 我 们 并 不 能 保 

证 require() 后 可 以 立即 使 用 ， 在 第 九 章 ， 我 们 将 详细 分 析 这 个 问题 ， 并 提出 一 
些 模式 来 优化 解决 这 个 问题 。 

实际 上 ， 在 早期 的 Node.js 中 ， 曾 经 有 一 个 异步 版 本 的 require() ， 但 由 于 它 
对 初始 化 时 间 和 弄 步 I/0 的 性 能 有 巨大 影响 ， 很 快 这 个 API 就 被 删除 了 。 


resolve 算 法 


依赖 地 狱 描述 了 软件 的 依赖 于 不 同 版 本 的 软件 包 的 依赖 关系 ，Node.js 通过 加 
载 不 同 版 本 的 模块 来 解决 这 个 问题 ， 有 具体 取决 于 模块 的 加 载 位 置 。 而 都 是 
由 npm 来 完成 的 ， 相 关 算 法 被 称 作 resolve 算 法 ， 被 用 到 require() 函数 中 。 


现在 让 我 们 快速 概述 一 下 这 个 算法 。 如 下 所 述 ， resolve() 函数 将 一 个 模块 名 称 
( moduleName ) 作为 输入 ， 并 返回 模块 的 完整 路 径 。 然 后 ， 该 路 径 用 于 加 载 其 
代码 ， 并 且 还 可 以 唯一 地 标识 模块 。 resolve 算 法 可 以 分 为 以 下 三 种 规则 : 


@ 文件 模块 : 如 果 moduleName 以 / 开头 ， 那 么 它 已 经 被 认为 是 模块 的 绝对 路 
径 。 如 果 以 ,/ 开头 ， 那 么 moduleName 被 认为 是 相对 路 径 ， 它 是 从 使 
用 require 的 模块 的 位 置 开 始 计 算 的 。 

e。 核心 模块 : 如 果 moduleName 不 以 / 或 ,/ 开头 ， 则 算法 将 首先 尝试 在 核心 
Node.js 模 块 中 进行 搜索 。 

e。 模块 包 : 如 果 没 有 找到 匹配 moduleName 的 核心 模块 ， 则 搜索 在 当前 目录 下 
的 node_modules ， 如 果 没 有 搜索 到 node_modules ， 则 会 往 上 层 目录 继续 
搜索 node_modules ， 直 到 它 到 达 文 件 系 统 的 根 目 录 。 


对 于 文件 和 包 模 块 ， 单 个 文件 和 目录 也 可 以 匹配 到 moduleName 。 特 别 地 ， 算 法 
将 尝试 匹配 以 下 内 容 : 


e <moduleName>, js 
e <moduleName>/index.]js 


e 在 <moduleName>/package.json 的 main 值 下 声明 的 文件 或 目录 
resolve 算 法 的 具体 文档 
node_modules 目录 实际 上 是 npm 安装 每 个 包 并 存放 相关 依赖 关系 的 地 方 。 这 意 


味 着 ， 基 于 我 们 刚刚 描述 的 算法 ， 每 个 包 都 有 自身 的 私有 依赖 关系 。 例 如 ， 看 以 下 
目录 结构 : 


myApp 
| 一 foo .js 
-一 node_modules 
| 一 depA 
| [一 index.js 
-一 depB 
| 一 bar .js 
| 一 node_modules 
| 一 depA 
| [一 index.js 
-一 depC 
| 一 foobar ,js 
-一 node_modules 
-一 depA 


-一 index.js 


在 前 面 的 例子 中 ， myApp ， depB 和 depC 都 依赖 于 depA ;然而 ， 他 们 都 有 自 
己 的 私有 依赖 的 版 本 ! 按照 解析 算法 的 规则 ， 使 用 require('depA') 将 根据 需要 
的 模块 加 载 不 同 的 文件 ， 如 下 : 


e@ 在 /myApp/foo.js 中 调用 的 _ require( 'depA' ) 会 加 


载 /myApp/node_modules/depA/index.js 

e 在 /myApp/node_modules/depB/bar.js 中 调用 的 require('depA') 会 加 
载 /myApp/node_modules/depB/node modules/depA/index.js 

e 在 /myApp/node_modules/depc/foobar.js 中 调用 的 require('depA') 会 
加 载 /myApp/node_modules/depC/node_modules/depA/index.js 


resolve 算 法 是 Node.js 依赖 关系 管理 的 核心 部 分 ， 它 的 存在 使 得 即便 应 用 程序 
拥有 成 百 上 千 包 的 情况 下 也 不 会 出 现 冲 突 和 版 本 不 兼容 的 问题 。 


当 我 们 调用 require() 时 ， 解 析 算 法 对 我 们 是 透明 的 。 然 而 ， 仍 然 可 以 通过 调 
用 require.resolve() 直接 由 任何 模块 使 用 。 


模块 缓存 


每 个 模块 只 会 在 它 第 一 次 引入 的 时 候 加 载 ， 此 后 的 任意 一 次 require() 调用 均 从 
之 前 缓存 的 版 本 中 取得 。 通 过 查看 我 们 之 前 写 的 自 定义 的 _ require() 函数 ， 可 以 
看 到 缓存 对 于 性 能 提升 至 关 重 要 ， 此 外 也 具有 一 些 其 它 的 优势 ， 如 下 : 


。 使 得 模块 依赖 关系 的 重复 利用 成 为 可 能 
。 从 茶 种 程度 上 保证 了 在 从 给 定 的 包 中 要 求 相同 的 模块 时 总 是 返回 相同 的 实例 ， 
避免 了 冲突 


模块 缓存 通过 require.cache 变量 查看 ， 因 此 如 果 需 要 ， 可 以 直接 访问 它 。 在 实 
际 运用 中 的 例子 是 通过 删除 require.cache 变量 中 的 相对 键 来 使 某 个 缓存 的 模块 
无 效 ， 这 是 在 测试 过 程 中 非常 有 用 ， 但 在 正常 情况 下 会 十 分 危险 。 


循环 依赖 


许多 人 认为 循环 依赖 是 Node .js 内 在 的 设计 问题 ， 但 在 丨 实 项 目 中 申 的 可 能 发 
生 ， 所 以 我 们 至 少 知道 如 何在 Node .js 中 使 得 循环 依赖 有 效 。 再 来 看 我 们 自 定 义 
的 _ require() 函数 ， 我 们 可 以 立即 看 到 其 工作 原理 和 注意 事项 。 


看 下 面 这 两 个 模块 : 


e@ 模块 a.js 


exports.loaded = false; 

const b = require('./b'); 

module.exports = { 
bwasLoaded: b.]loaded, 
loaded: true 
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e@ 模块 b.js 


exports.loaded = false; 

const a = require('./a'); 

module.exports = { 
awWasLoaded: a.loaded, 
loaded: true 


}; 
然后 我 们 在 main.js 中 写 以 下 代码 : 


const a = require('./a'); 
const b = require('./b'); 
console.1o0g(a); 
console.1o0g(b); 


执行 上 述 人 代码， 会 打印 以 下 结果 : 


bwasLoaded: true, 
loaded: true 

} 

{ 
aWasLoaded: false, 
loaded: true 


} 
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这 个 结果 展现 了 循环 依赖 的 处 理 顺序 。 虽 然 a.js 和 b.js 这 两 个 模块 都 在 主 模 
块 需要 的 时 候 完 全 初始 化 ， 但 是 当 从 b.js 加 载 时 ， a.,js 模块 是 不 完整 的 。 特 
别 ， 这 种 状态 会 持续 到 b.js 加 载 完 毕 的 那 一 刻 。 这 种 情况 我 们 应 该 引起 注意 ， 特 
别 要 确认 我 们 在 main.js 中 两 个 模块 所 需 的 顺序 。 


这 是 由 于 模块 a.js 将 收 到 一 个 不 完整 的 版 本 的 b.js 。 我 们 现在 明白 ， 如 果 我 
们 失去 了 首先 加 载 哪个 模块 的 控制 ， 如 果 项 目 足 够 大 ， 这 可 能 会 很 容易 发 生 循环 依 
赖 。 


关于 循环 引用 的 文档 


简单 说 就 是 ， 为 了 防止 模块 载 入 的 死 循 环 ， Node.js 在 模块 第 一 次 载 入 后 会 把 它 
的 结果 进行 缓存 ， 下 一 次 再 对 它 进 行 载 入 的 时 候 会 直接 从 缓存 中 取出 结果 。 所 以 在 
这 种 循环 依赖 情形 下 ， 不 会 有 死 循环 ， 但 是 却 会 因为 缓存 造成 模块 没有 按照 我 们 预 
想 的 那样 被 导出 ( export ， 详 细 的 案例 分 析 见 下 文 ) 。 


官网 给 出 了 三 个 模块 还 不 是 循环 依赖 最 简单 的 情形 。 实 际 上 ， 两 个 模块 就 可 以 很 清 
楚 的 表达 出 这 种 情况 。 根 据 递归 的 思想 ， 解 决 了 最 简单 的 情形 ， 这 一 类 任意 大 小 规 
模 的 问题 也 就 解决 了 一 半 ( 另 一 半 还 需要 探 明 随 着 问题 规模 增长 ， 问 题 的 解 将 会 如 
何 变化 ) 。 


JavaScript 作为 一 门 解 释 型 的 语言 ， 上 面 的 打印 输出 清晰 的 展示 出 了 程序 运行 
的 轨迹 。 在 这 个 例子 中 ， a.js 首先 require 了 b.js ,程序 进入 b.js ， 
在 b.js 中 第 一 行 又 require 了 a.js 。 


如 前 文 所 述 ， 为 了 避免 无 限 循环 的 模块 依赖 ， 在 Node.js 运行 a.js 之 后 ， 它 就 
被 缓存 了 ， 但 需要 注意 的 是 ， 此 时 缕 存 的 仅仅 是 一 个 未 完工 的 a.js (an 
unfinished copy of the a.js) 。 所 以 在 b.js 中 require 了 a.js 时 ， 得 到 的 
仅仅 是 缓存 中 一 个 未 完工 的 a.js ， 具 体 来 说 ， 它 并 没有 明确 被 导出 的 具体 内 容 

( a.js 尾 端 。 所 以 b.js 中 输出 的 a 是 一 个 空 对 象 。 


之 后 ，b.js 顺利 执行 完 ， 回 到 a,js 的 require 语句 之 后 ， 继 续 执 行 完 成 。 
模块 定义 模式 


模块 系统 除了 自 带 处 理 依赖 关系 的 机 制 之 外 ， 最 常见 的 功能 就 是 定义 API 。 对 于 
定义 API ， 主 要 需要 考虑 私有 和 公共 功能 之 间 的 平衡 。 其 目的 是 最 大 化 信息 隐藏 
内 部 实现 和 暴露 的 API 可 用 性 ， 同 时 将 这 些 与 可 扩展 性 和 代码 重用 性 进行 平衡 。 


在 本 节 中 ， 我 们 将 分 析 一 些 在 Node.js 中 定义 模块 的 最 流行 模式 ;每 个 模块 都 保证 
了 私有 变量 的 透明 ， 可 扩展 性 和 代码 重用 。 


命名 导出 


暴露 公共 API 的 最 基本 方法 是 使 用 命名 导出 ， 其 中 包括 将 我 们 想 要 公开 的 所 有 值 
分 配给 由 export (或 module.exports ) 引用 的 对 象 的 属性 。 以 这 种 方式 ， 生 
成 的 导出 对 象 将 成 为 一 组 相关 功能 的 容器 或 命名 空间 。 


看 下 面 代 码 ， 是 此 模式 的 实现 : 


//file logger.js 

exports.info = (message) => { 
console.log('info: ' + message); 

pe 

exports.verbose = (message) => { 

console.log('verbose: ' + message); 


}; 


导出 的 函数 随后 作为 引入 其 的 模块 的 属性 使 用 ， 如 下 面 的 代码 所 示 : 


// file main.js 

const logger = require('./logger'); 
logger.info('This is an informational message'); 
logger.verbose('This is a verbose message ' ) ， 


大 多 数 Node .js 模块 使 用 这 种 定义 。 


CommonJS 规范 仅 允 许 使 用 exports 变量 来 公开 public 成 员 。 因 此 ， 命 名 的 导 
出 模式 是 唯一 与 CommonJS 规范 兼容 的 模式 。 使 

用 module.exports 是 Node.js 提供 的 一 个 扩展 ， 以 支持 更 广泛 的 模块 定义 模 
ee 


最 流行 的 模块 定义 模式 之 一 包括 将 整个 module ,exports 变量 重新 分 配给 一 个 函 
数 。 它 的 主要 优点 是 它 只 暴露 了 一 个 函数 ， 为 模块 提供 了 一 个 明确 的 入 口 点 ， 使 其 
更 易于 理解 和 使 用 ， 它 也 很 好 地 展现 了 单一 职责 原则 。 这 种 定义 模块 的 方法 在 社区 
中 也 被 称 为 substack 模 式 ， 在 以 下 示例 中 查看 此 模式 : 


/ile leenm ns 
module.exports = (message) => { 
console.log( info: ${message} ); 


}; 


该 模式 也 可 以 将 导出 的 函数 用 作 其 他 公共 API 的 命名 空间 。 这 是 一 个 非常 强大 的 
组 合 ， 因 为 它 仍然 给 模块 一 个 单独 的 入 口 点 ( exports 的 主 函 数 ) 。 这 种 方法 还 
允许 我 们 公开 具有 次 要 或 更 高 级 用 例 的 其 他 函数 。 以 下 代码 显示 了 如 何 使 用 导出 的 
函数 作为 命名 空间 来 扩展 我 们 之 前 定义 的 模块 : 


module.exports.verbose = (message) => { 
console.log( verbose: ${message} ); 


}; 


这 段 代 码 演 示 了 如 何 调用 我 们 刚才 定义 的 模块 : 


// file main.js 

const logger = require('./logger'); 
logger('This is an informational message'); 
logger.verbose('This is a verbose message ' ) ， 


虽然 只 是 导出 一 个 函数 也 可 能 是 一 个 限制 ， 但 实际 上 它 是 一 个 完美 的 方式 ， 把 重点 
放 在 一 个 单一 的 函数 ， 它 代表 着 这 个 模块 最 重要 的 一 个 功能 ， 同 时 使 得 内 部 私有 变 
量 属性 更 加 透明 ， 而 只 是 暴露 导出 函数 本 身 的 属性 。 


Node.js 的 模块 化 鼓励 我 们 遵循 采用 单一 职责 原则 ( SRP ) : 每 个 模块 应 该 对 
单个 功能 负责 ， 该 职责 应 完全 由 该 模块 封装 ， 以 保证 复 用 性 。 


注意 ， 这 里 讲 的 substack 模 式 ， 就 是 通过 仅 导 出 一 个 函数 来 暴露 模块 的 主要 功 
能 。 使 用 导出 的 函数 作为 命名 空间 来 导出 别 的 次 要 功能 。 


构造 器 (类 ) 导 出 


导出 构造 函数 的 模块 是 导出 函数 的 模块 的 特例 。 其 不 同 之 处 在 于 ， 使 用 这 种 新 模 
式 ， 我 们 允许 用 户 使 用 构造 函数 创建 新 的 实例 ， 但 是 我 们 也 可 以 扩展 其 原型 并 创建 
新 类 (继承 ) 。 以 下 是 此 模式 的 示例 : 


// file logger.js 

function Logger(name) { 
this.name = name; 

} 

Logger.prototype.log = function(message) { 
console.log(`[${this.name}] ${message}. ); 

}; 

Logger .prototype.info = function(message) { 
this.1log( info: ${message} ); 

Logger .prototype.verbose = function(message) { 
this.log( verbose: ${message} ); 


天 
module.exports = Logger; 


我 们 通过 以 下 方式 使 用 上 述 模块 : 


// file main.js 

const Logger = require('./logger'); 

const dbLogger = new Logger('DB'); 

dbLogger .info('This is an informational message'); 
const accessLogger = new Logger('ACCESS'); 
accessLogger .verbose('This is a verbose message'); 


通过 ES2015 的 class 关键 字 语 法 也 可 以 实现 相同 的 模式 : 


class Logger { 
constructor(name) { 
this.name = name; 


} 
log(message) { 
console.log( [${this.name}|] ${message}. ); 


info(message) { 
this.1log( info: ${message} ); 


verbose(message) { 
this.1log( verbose: ${message} ); 


module.exports = Logger; 


鉴于 ES2815 的 类 只 是 原型 的 语法 糖 ， 该 模块 的 使 用 将 与 其 tL 基于 原型 和 构造 函数 的 


方案 完全 相同 。 


导出 构造 函数 或 类 仍然 是 模块 的 单个 入 口 点 ， 但 与 substack 模 式 比 起 来 ， 它 暴露 
了 更 多 的 模块 内 部 结构 。 然 而 ， 另 一 方面 ， 当 想 要 扩展 该 模块 功能 时 ， 我 们 可 以 更 
加 方便 。 


这 种 模式 的 变种 包括 对 不 使 用 new 的 调用 。 这 个 小 技巧 让 我 们 将 我 们 的 模块 用 作 
工厂 。 看 下 列 代码 : 


function Logger(name) { 
if (!(this instanceof Logger)) { 
return new Logger (name); 


} 


this.name = name; 
}; 


其 实 这 很 简单 : 我 们 检查 this 是 否 存 在 ， 并 且 是 Logger 的 一 个 实例 。 如 果 这 
he ee a 
况 下 被 调用 ， 然 后 继续 正确 创建 新 实例 并 将 其 返回 给 调用 者 。 这 种 技术 允许 我 们 将 
模块 也 用 作 工 厂 : 


// file logger.js 

const Logger = require('./logger'); 

const dbLogger = Logger('DB'); 

accessLogger .verbose('This is a verbose message'); 


ES2015 的 new.target 语法 从 Node.js 6 开始 提供 了 一 个 更 简洁 的 实现 上 述 
功能 的 方法 。 该 利用 公开 了 new.target 属性 ， 该 属性 是 所 有 函数 中 可 用 

的 元 属性 ， 如 果 使 用 new 关键 字 调 用 函数 ， 则 在 运行 时 计算 结果 为 true 。 我 
们 可 以 使 用 这 种 语法 重 写 工厂 : 


function Logger(name) { 
if (Inew.target) { 
return new LoggerConstructor (name); 


} 


this.name = name; 


} 


这 个 代码 完全 与 前 一 段 代码 作用 相同 ， 所 以 我 们 可 以 
说 ES2015 的 new.target 语法 糖 使 得 代码 更 加 可 读 和 自然 。 


实例 导出 


我 们 可 以 利用 require() 的 缓存 机 制 来 轻松 地 定义 具有 从 构造 函数 或 工厂 创建 的 
状态 的 有 状态 实例 ， 可 以 在 不 同 模 块 之 间 共 享 。 以 下 代码 显示 了 此 模式 的 示例 : 


//file logger.js 

function Logger(name) { 
this.count = 0; 
this.name = name; 


} 


Logger.prototype.1log = function(message) { 
this.count++; 
console.log('[' + this.name + '] ' + message); 


}; 
module.exports = new Logger('DEFAULT'); 


这 个 新 定义 的 模块 可 以 这 么 使 用 : 


/fle mammas 
const logger = require('./logger'); 
logger.log('This is an informational message'); 


因为 模块 被 缓存 ， 所 以 每 个 需要 Logger 模块 的 模块 实际 上 总 是 会 检索 该 对 象 的 相 
同 实 例 ， 从 而 共享 它 的 状态 。 这 种 模式 非常 像 创 建 单 例 。 然 而 ， 它 并 不 保证 整个 应 
用 程序 的 实例 的 唯一 性 ， 因 为 它 发 生 在 传统 的 单 例 模式 中 。 在 分 析 解 术 算 法 时 ， 实 
际 上 已 经 看 到 ， 一 个 模块 可 能 会 多 次 安装 在 应 用 程序 的 依赖 关系 树 中 。 这 导致 了 同 
一 逻辑 模块 的 多 个 实例 ， 所 有 这 些 实例 都 运行 在 同一 个 Node.js 应 用 程序 的 上 下 
文中 。 在 第 7 章 中 ， 我 们 将 分 析 导 出 有 状态 的 实例 和 一 些 可 替代 的 模式 。 

我 们 刚刚 描述 的 模式 的 扩展 包括 exports 用 于 创建 实例 的 构造 函数 以 及 实例 本 
身 。 这 允许 用 户 创建 相同 对 象 的 新 实例 ， 或 者 如 果 需 要 也 可 以 扩展 它们 。 为 了 实现 
这 一 点 ， 我 们 只 需要 为 实例 分 配 一 个 新 的 属性 ， 如 下 面 的 代码 所 示 : 


module.exports.Logger = Logger 


然后 ， 我 们 可 以 使 用 导出 的 构造 函数 创建 类 的 其 他 实例 : 


const customLogger = new logger.Logger('CUSTOM'); 
customLogger.1log('This is an informational message'); 


从 代码 可 用 性 的 角度 来 看 ， 这 类 似 于 将 导出 的 函数 用 作 命 空间 ， 该 模块 导出 一 个 
对 象 的 默认 实例 ， 这 是 我 们 大 部 分 时 间 使 用 的 功能 能 ， 0 级 功能 (如 创建 新 
实例 或 扩展 对 象 的 功能 ) 仍然 可 以 通过 较 少 的 暴露 属性 来 使 用 。 


修改 其 他 模块 或 全 局 作用 域 


一 个 模块 甚至 可 以 导出 任何 东 西 这 可 以 看 起 来 有 点 不 合适 ;但 是 ， 我 们 不 应 该 筷 记 一 
个 模块 可 以 修改 全 局 包围 和 其 中 的 任何 对 象 ， 包括 缓存 中 的 其 他 模块 。 请 注意 ， 这 
些 通常 被 认为 是 不 好 的 做 法 ， 但 是 由 于 这 种 模式 在 某 些 情况 下 (例如 测试 ) 可 能 是 
有 用 和 安全 的 ， 有 时 确实 可 以 利用 这 一 特性 ， 这 是 值得 了 解 和 理解 的 。 o。 我 们 说 一 个 
模块 可 以 修改 全 局 范围 内 的 其 他 模块 或 对 象 。 它 通常 是 指 在 运行 时 修改 现 有 对 象 以 


更 改 或 扩展 其 行为 或 应 用 的 临时 更 改 。 
以 下 示例 显示 了 我 们 如 何 向 另 一 个 模块 添加 新 函数 : 


// file patcher .js 

// ./logger is another module 

require('./logger').customMessage = () => console.log('This is a 
new functionality'); 


编写 以 下 代码 : 


// file main.js 
require('./patcher” ),; 

const logger = require('./logger'); 
logger.customMessage( ); 


在 上 述 代 码 中 ， 必 须 首先 引入 patcher 程序 才能 使 用 logger 模块 。 


上 面 的 写法 是 很 危险 的 。 主 要 考虑 的 是 拥有 修改 全 局 命 空间 或 其 他 模块 的 模块 是 
具有 副作用 的 操作 。 换 名 话说 ， 它 会 影响 其 范 围 之 外 的 0 ， 这 可 能 导致 不 
可 预测 的 后 果 ， 特 别 是 当 多 个 模块 与 相同 的 实体 进行 交互 时 。 想 象 一 下 ， 有 两 个 不 
同 的 模块 尝试 设置 相同 的 全 局 变量 ， 或 者 修改 同一 个 模块 的 相 同属 性 ， 效果 可 能 是 
不 可 预测 的 (哪个 模块 胜出 ? ) ， 但 最 重要 的 是 它 会 对 在 整个 应 用 程序 产生 影响 。 


Node ,js 中 的 另 一 个 重要 和 基本 的 模式 是 观察 者 模式 。 与 reactor 模 式 ， 回 调 模 
样 ， 观 察 者 模式 是 Node.js 基础 之 一 ， 也 是 使 用 许多 Node.js 核心 
模块 和 用 户 定 义 模 块 的 基础 。 


观察 者 模式 是 对 Node.js 的 数据 响应 的 理想 解决 方案 ， 也 是 对 回调 的 完美 补充 。 
我 们 给 出 以 下 定义 : 


发 布 者 定义 一 个 对 象 ， 它 可 以 在 其 状态 发 生变 化 时 通知 一 组 观察 者 〈 或 监听 者 ) 。 
岁 
多 


与 回调 模式 的 主要 区 别 在 于 ， 主 体 实际 上 可 以 通知 多 个 观察 者 ， 而 传统 的 CPS 风 
格 的 回调 通常 主体 的 乡 告 果 只 会 传播 给 一 个 监听 器 


EventEmitter 类 


在 传统 的 面向 对 象 编程 中 ， 观 察 者 模式 需要 接口 ， 具 体 类 和 层次 结构 。 

在 Node.js 中 ， 都 变 得 简单 得 多 。 观 察 者 模式 已 经 内 置 在 核心 模块 中 ， 可 以 通 
过 EventEmitter 类 来 实现 。 EventEmitter 类 允许 我 们 注册 一 个 或 多 个 函数 作 
为 监听 器 ， 当 特定 的 事件 类 型 被 触发 时 ， 它 的 回调 将 被 调用 ， 以 通知 其 监听 器 。 以 
下 图 像 直 观 地 解释 了 这 个 概念 : 


EventEmitter 是 一 个 类 (原型 ) ， 它 是 从 事件 核心 模块 导出 的 。 以 下 代码 显示 
了 如 何 获 得 对 它 的 引用 : 


const EventEmitter = require('events').EventEmitter,; 
const eeInstance = new EventEmitter(); 


EventEmitter 的 基本 方法 如 下 : 


e on(event ， listener) : 此 方法 允许 您 为 给 定 的 事件 类 型 ( String 类 型 ) 
注册 一 个 新 的 侦 听 器 《〈 一 个 函数 ) 

e once(event，1istener) : 此 方法 注册 一 个 新 的 监听 器 ， 然 后 在 事件 首次 发 
布 之 后 被 删除 

。 emit(event, [arg1], [...]) : 此 方法 会 生成 一 个 新 事件 ， 并 提供 其 他 参 
数 以 传递 给 侦 听 器 

e removeListener (event, listener) : 此 方法 将 删除 指定 事件 类 型 的 侦 听 


品 


所 有 上 述 方法 将 返回 EventEmitter 实例 以 允许 链接 。 监 听 器 

数 function([arg1]，[...]) ， 供 的 参数 。 在 侦 听 
器 中 ， 这 是 指 EventEmitter 生成 事件 的 实例 。 我 们 可 以 看 到 ， 一 个 监听 器 和 一 
个 传统 的 Node ,js 回调 有 很 大 的 区 别 ;特别 地 ， 第 一 个 参数 不 是 error ， 它 是 在 
调用 时 传递 给 emit() 的 任何 数据 。 


创建 和 使 用 EventEmitter 


我 们 来 看 看 我 们 如 何在 实践 中 使 用 EventEmitter 。 最 简单 的 方法 是 创建 一 个 新 
的 实例 并 立即 使 用 它 。 以 下 代码 显示 了 在 文件 列表 中 找到 匹配 特定 正则 的 文件 内 容 
时 ， 使 用 EventEmitter 实现 实时 通知 订阅 者 的 功能 


const EventEmitter = require('events').EventEmitter,; 
const fs = require('fs"'); 


function findpattern(files, regex) { 
const emitter = new EventEmitter(); 
files.forEach(function(file) { 
fs.readFile(file, 'utf8', (err, content) => { 
if (err) 
return emitter.emit('error', err); 
emitter.emit('fileread', file); 
Jet match; 
If (match = content.match(regex)) 
match.forEach(elem => emitter.emit('found', file, elem)) 


}); 
}); 


return emitter; 


} 


由 前 面 的 函数 EventEmitter 处 理 将 产生 的 三 个 事件 : 


e@ fileread 事件 : 当 文 件 被 读 取 时 触发 
e。 found 事件 : 当 文 件 内 容 被 正则 匹配 成 功 时 触发 
e@ error 事件 : 当 读 取 文 件 出 现 错误 时 触发 


下 面 看 findPattern() 哆 数 是 如 何 被 触发 的 : 


findPattern(['fileA.txt', ‘'fileB.json'], /hello \w+/g) 
.oNn('fileread', file => console.log(file + ' was read')) 


.OnNn('found', (file, match) => console.log('Matched "' + match 
Enfield) 

.ON('error', err => console.log('Error emitted: ' + err.messag 
e)); 


在 前 面 的 例子 中 ， 我 们 为 EventParttern() 函数 创建 的 EventEmitter 生成 的 
每 个 事件 类 型 注册 了 一 个 监听 器 。 


错误 传播 


如 果 事 件 是 异步 发 送 的 ， EventEmitter 不 能 在 异常 情况 发 生 时 抛 出 异常 ， 异 常 
会 在 事件 循环 中 丢失 。 相 反 ， 而 是 emit 是 发 出 一 个 称 为 错误 的 特殊 事 

件 ， Error 对 象 通过 参数 传递 。 这 正 是 我 们 在 之 前 定义 的 findPattern() 函数 
中 正在 做 的 。 


对 于 错误 事件 ， 始 终 是 最 佳 做 法 注册 侦 听 器 ， 因 为 Node.js 会 以 特殊 的 方式 处 理 
它 ， 并 且 如 果 没 有 找到 相关 联 的 侦 听 器 ， 将 自动 抛 出 异常 并 退出 程序 。 
让 任意 对 象 可 观察 


有 时 ， 直 接 通 过 EventEmitter 类 创建 一 个 新 的 可 观察 的 对 象 是 不 够 的 ， 因 为 原 
生 EventEmitter 类 并 没有 提供 我 们 实际 运用 场景 的 拓展 功能 。 我 们 可 以 通过 扩 
展 EventEmitter 类 使 一 个 通用 对 象 可 观察 。 


为 了 演示 这 个 模式 ， 我 们 试 着 在 对 象 中 实现 findPattern() 轰 数 的 功能 ， 如 下 代 
码 所 示 : 


const EventEmitter = require('events').EventEmitter,; 

const fs = require('fs'); 

class FindPattern extends EventEmitter { 
constructor(regex) { 


super(); 
this.regex = regex; 
this.files = []; 


} 
addFile(file) { 
this.files.push(file); 
return this; 
} 
find() { 
this.files.forEach(file => { 
fs.readFile(file, 'utf8', (err, content) => { 
if (err) { 
return this.emit('error', err); 
} 
this.emit('fileread', file); 
let match = null; 
If (match = content.match(this.regex)) { 
match.forEach(elem => this.emit('found', file, elenm)); 
} 
}); 
}); 
return this; 
} 
} 


我 们 定义 的 FindPattern 类 中 运用 了 核心 模块 util 提供 的 inherits() 区 数 
来 扩展 EventEmitter 。 以 这 种 方式 ， 它 成 为 一 个 符合 我 们 实际 运用 场景 的 可 观 
察 类 。 以 下 是 其 用 法 的 示例 : 


const findPatternobject = new Findpattern(/hello \w+/); 
findPatternobject 

.addFile('fileA.txt ') 

.addFile( 'fileB.json') 

.find() 

.OnNn('found', (file, match) => console.log( Matched "${match}" 

Tne pen 
.ON('error', err => console.log( Error emitted ${err.message} 


) 


现在 ， 通 过 继承 EventEmitter 的 功能 ， 我 们 现在 可 以 看 到 FindPattern 对 象 除 
了 可 观察 外 ， 还 有 一 整套 方法 。 这 在 Node,js 生态 系统 中 是 一 个 很 常见 的 模式 ， 
例如 ， 核 心 HTTP 模块 的 Server 对 象 定义 


了 listen() ， close() ， setTimeout() 等 方法 ， 并 且 在 内 部 它 也 继承 
自 EventEmitter 函数 ， 从 而 允许 它 在 收 到 新 的 请 求 、 建 立新 的 连接 或 者 服务 器 
关闭 响应 请 求 相 关 的 事件 。 


扩展 EventEmitter 的 对 象 的 其 他 示例 是 Node.js 流 。 我 们 将 在 第 五 章 中 更 详细 
地 分 析 Node.js 的 流 。 


同步 和 异步 事件 


与 回调 模式 类 似 ， 事 件 也 支持 同步 或 异步 发 送 。 至 关 重 要 的 是 ， 我 们 决 不 应 当 在 同 
一 个 EventEmitter 中 混合 使 用 两 种 方法 ， 但 是 在 发 布 相同 的 事件 类 型 时 考虑 同 
步 或 者 异步 显得 至 关 重 要 ， 以 避免 产生 因 同 步 与 异步 顺序 不 一 致 导致 的 zalgo 。 


发 布 同步 和 异步 事件 的 主要 区 别 在 于 观察 者 注册 的 方式 。 当 事件 异步 发 布 时 ， 即 使 
在 EventEmitter 初始 化 之 后 ， 程 序 也 会 注册 新 的 观察 者 ， 因 为 必须 保证 此 事件 

在 事件 循环 下 一 周期 之 前 不 被 触发 。 正 如 上 边 的 findPattern() 有 子 数 中 的 情况 。 
它 代 表 了 大 多 数 Node.js 异步 模块 中 使 用 的 常用 方法 。 


相反 ， 同 步 发 布 事件 要 求 在 EventEmitter 有 函数 开始 发 出 任何 事件 之 前 就 得 注册 
好 观察 者 。 看 下 面 的 例子 : 


const EventEmitter = require('events').EventEmitter,; 
class SyncEmit extends EventEmitter { 
constructorm() 
super(); 
this.emit('ready'); 
} 
} 


const syncEmit = new SyncEmit(); 
syncEmit.on('ready', () => console.log('Object is ready to be uu 


sed' )); 


如 果 ready 事件 是 异步 发 布 的 ， 那 么 上 述 代码 将 会 正常 运行 ， 然 而 ， 由 于 事件 是 
同步 发 布 的 ， 并 且 监 听 器 在 发 送 事 件 之 后 才 被 注册 ， 所 以 结果 不 调用 监听 器 ， 该 代 
码 将 无 法 打印 到 控制 台 。 

由 于 不 同 的 应 用 场景 ， 有 时 以 同步 方式 使 用 EventEmitter 函数 是 有 意义 的 。 

此 ， 要 清楚 地 突出 我 们 的 EventEmitter 的 同步 和 异步 性 ， 以 避免 产生 不 必要 的 

错误 和 异常 。 


事件 机 制 与 回调 机 制 的 比较 


在 定义 异步 API 时 ， 常 见 的 难点 是 检查 是 否 使 用 EventEmitter 的 事件 机 制 或 仅 
接受 回调 函数 。 一 般 区 分 规则 是 这 样 的 : 当 一 个 结果 必须 以 异步 方式 返回 时 ， 应 该 
使 用 回调 函数 ， 当 需要 结果 不 确定 其 方式 时 ， 应 该 使 用 事件 机 制 来 响应 。 


但 是 ， 由 于 这 两 者 实在 太 相近 ， 并 且 可 能 两 种 方式 都 能 实现 相同 的 应 用 场景 ， 所 以 
产生 了 许多 混乱 。 以 下 列 代 码 为 例 : 


function helloEvents() ({ 

const eventEmitter = new EventEmitter(); 

setTimeout(() => eventEmitter.emit('hello', 'hello world'), 100 
); 

return eventEmitter; 


} 


function helloCcallback(callback) { 
setTimeout(() => callback('hello world'), 100); 
} 


4 Ed| 





helloEvents() 和 hellocallback() 在 其 功能 上 可 以 被 认为 是 等 价 的 ， 第 一 个 
使 用 事件 机 制 实现 ， 第 二 个 则 使 用 回调 来 通知 调用 者 ， 而 将 事件 作为 参数 传递 。 但 
是 昊 正 区 分 它们 的 是 可 执行 性 ， 语 义 和 要 实现 或 使 用 的 代码 量 。 虽 然 我 们 不 能 给 出 
一 套 确定 性 的 规则 来 选择 一 种 风格 ， 但 我 们 当然 可 以 提供 一 些 提示 来 帮助 你 做 出 决 
定 o 


相 比 于 第 一 个 例子 ， ee 
限制 。 但 是 事实 上 ， 我 们 仍然 可 以 通过 将 事件 类 型 作为 回调 的 参数 传递 ， 或 者 通 
接受 多 个 回调 来 区 分 多 个 事件 。 然 而 ， 这 样 做 的 话 不 和 EE 被 认为 是 一 个 优雅 

的 API 。 在 这 种 情况 下 ， EventEmitter 可 以 提供 更 好 的 接口 和 更 精简 的 代码 。 


EventEmitter 更 优秀 的 另 一 种 应 用 场景 是 多 次 触发 同一 事件 或 不 触发 事件 的 情 
况 。 事 实 上 ， 无 论 操作 是 否 成 功 ， 一 个 回调 预计 都 只 会 被 调用 一 次 。 但 有 一 种 特殊 
情况 是 ， 我 们 可 能 不 知道 事件 在 哪个 时 间 点 触发 ， 在 这 种 情况 

下 ， EventEmitter 是 首选 。 


最 后 ， 使 用 回调 的 API 仅 通知 特定 的 回调 ， 但 是 使 用 EventEmitter 函数 可 以 让 
多 个 监听 器 都 接收 到 通知 。 


回调 机 制 和 事件 机 制 结合 使 用 


还 有 一 些 情况 可 以 将 事件 机 制 和 回调 结合 使 用 。 特 别 是 当 我 们 导出 异步 函数 时 ， 这 
种 模式 非常 有 用 。node-glob 模 块 是 该 模块 的 一 个 示例 。 


glob(pattern, [options], callback) 


该 函数 将 一 个 文件 名 匹配 模式 作为 第 一 个 参数 ， 后 面 两 个 参数 分 别 为 一 组 选项 和 一 
个 回调 函数 ， 对 于 匹配 到 指定 文件 名 匹配 模式 的 文件 列表 ， 相 关 回 调 函 数 会 被 调 

用 。 同 时 ， 该 函数 返回 EventEmitter ， 它 展现 了 当前 进程 的 状态 。 例 如 ， 当 成 
功 匹 配 文件 名 时 可 以 实时 发 布 match 事件 ， 当 文件 列表 全 部 匹配 完毕 时 可 以 实时 
发 布 end 事件 ， 或 者 该 进程 被 手动 中 止 时 发 布 abort 事件 。 看 以 下 代码 : 


const glob = require( 'glob ' ) ， 
glob('data/*.txt', (error, files) => console.1og( All files foun 


d: ${JSON.stringify(files)}. )) 
.On('match', match => console.log( Match found: ${match} )); 


> 


~ 
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结 


在 本 章 中 ， 我 们 首先 了 解 了 同步 和 模 步 的 区 别 。 然 后 ， 我 们 探讨 了 如 何 使 用 回调 机 
制 和 回调 机 制 来 处 理 一 些 基本 的 蜡 步 方案 。 我 们 还 了 解 到 两 种 模式 之 间 的 主要 区 
别 ， 何 时 比 另 一 种 模式 更 适合 解决 具体 问题 。 我 们 只 是 到 向 更 先进 的 异步 模式 的 第 
一 步 二 


在 下 一 章 中 ， 我 们 将 介绍 
高 级 异步 控制 问题 。 


更 复杂 的 场景 ， 了 解 如 何 利 用 回调 机 制 和 事件 机 制 来 处 理 


Asynchronous Control Flow Patterns with 
Callbacks 


Node.js 这 类 语言 习惯 于 同步 的 编程 风格 ， 其 CPS 风格 和 异步 特性 的 API 是 其 
标准 ， 对 于 新 手 来 说 可 能 难以 理解 。 编 写 异 步 代 码 可 能 是 一 种 不 同 的 体验 ， 尤 其 是 
对 异步 控制 流 而 言 。 异 步 代 码 可 能 让 我 们 难以 预测 在 Node .js 中 执行 语句 的 顺 
序 。 例 如 读 取 一 组 文件 ， 执 行 一 串 任 务 ， 或 者 等 待 一 组 操作 完成 ， 都 需要 开发 人 员 
采用 新 的 方法 和 技术 ， 以 避免 最 终 编写 出 效率 低下 和 不 可 维护 的 代码 。 一 个 常见 的 
错误 是 回调 地 狱 ， 代 码 量 和 急剧 上 升 又 不 可 读 ， 使 得 简单 的 程序 也 难以 阅读 和 维护 。 
在 本 章 中 ， 我 们 将 看 到 如 何 通 过 使 用 一 些 规则 和 一 些 模式 来 避免 回调 ， 并 编写 干 
净 、 可 管理 的 异步 代码 。 我 们 将 看 到 控制 流 库 ， 如 async ， 可 以 极 大 地 简化 我 们 
的 问题 ， 提 升 我 们 的 代码 可 读 性 ， 更 多 于 维护 。 


异步 编程 的 困难 


JavaScript 中 异步 代码 的 顺序 错乱 无 疑 是 很 容易 的 。 闭 包 和 对 匿名 函数 的 定义 
可 以 使 开发 人 员 有 更 好 的 编程 体验 ， 而 并 不 需要 开发 人 员 手 动 对 异步 操作 进行 管理 
和 跳 转 。 这 是 符合 KISS 原则 的 。 简 单 且 能 保持 异步 代码 控制 流 ， 让 它 在 更 短 的 时 
间 内 工作 。 但 不 幸 的 是 ， 回 调 获 套 是 以 牺牲 诸如 模块 性 、 可 重用 性 和 可 维护 性 ， 增 
大 整个 函数 的 大 小 ， 导 致 帮 故 的 代码 结构 为 代价 的 。 大 多 数 情况 下 ， 创 建 闭 包 在 功 
能 上 是 不 需要 的 ， 但 这 更 多 是 一 种 约束 ， 而 不 是 与 异步 编程 相关 的 问题 。 认 识 到 回 
调 殴 套 会 使 得 我 们 的 代码 变 得 策 拙 ， 然 后 根据 最 适合 的 解决 方案 采取 相应 的 方法 解 
决 回调 地 狱 ， 这 是 新 手 与 专家 的 区 别 。 


创建 一 个 简单 的 Web 仆 时 


为 了 解释 上 述 问 题 ， 我 们 创建 了 一 个 简单 的 Web 尺 虫 ， 一 个 命令 行 应 用 ， 其 接受 一 
个 URL 为 输入 ， 然 后 可 以 把 其 内 容 下 载 到 一 个 文件 中 。 在 下 列 代 码 中 ， 我 们 会 依 
赖 以 下 两 个 npm 库 。 


此 外 ， 我 们 还 将 引用 一 个 叫做 ,/utilities 的 本 地 模块 。 


我 们 的 应 用 程序 的 核心 功能 包含 在 一 个 名 为 spider.js 的 模块 中 。 如 下 所 示 ， 首 
先 加 载 我 们 所 需要 的 依赖 包 : 


const request = require( request ' ) ， 

const fs = require( fs ) 

const mkdirp = require('mkdirp"'); 

const path = require( ' path ' ) ， 

const utilities = require('./utilities'); 


接 下 来 ， 我 们 将 创建 一 个 名 为 spider() 的 新 函数 ， 该 函数 接受 URL 为 参数 ， 并 
在 下 载 过 程 完 成 时 调用 一 个 回调 函数 。 


function spider(url, callback) { 
const filename = utilities.urlToFilename(ur]l); 
fs.exists(filename, exists => { 
if (!exists) { 
console.log( Downloading ${url}. ); 
request(url, (err, response, body) => { 
if (err) { 
callback(err); 
} else { 
mkdirp(path.dirname(filename), err => { 
if (err) { 
callback(err); 
} else { 
fs.writeFile(filename, body, err => { 
if (err) { 
callback(err); 
} else { 
callback(null, filename, true); 


} 

}); 
} 
}); 


} 


}); 
} else { 


callback(null, filename, false); 


} 

}); 

} 
上 述 函 数 执 行 以 下 任务 : 

。 检查 该 URL 的 文件 是 否 已 经 下 载 过 ， 即 验证 相应 文件 是 否 已 经 被 创建 : 
fs.exists(filename, exists => ... 
e@ 如 果 文件 还 没有 被 下 载 ， 则 执行 下 列 代码 进行 下 载 操作 : 
request(url, (err, response, body) => ... 
e 然后 ， 我 们 需要 确定 目录 下 是 否 已 经 包含 了 该 文件 : 
mkdirp(path.dirname(filename), err => ... 
。 最 后 ， 我 们 把 HTTP 请 求 返回 的 报 文 主体 写 入 文件 系统 : 


mkdirp(path.dirname(filename), err => ... 


要 完成 我 们 的 Web 寂 虫 应 用 程序 ， 只 需 提供 一 个 URL 作为 输入 (在 我 们 的 例子 


中 ， 我 们 从 命令 行 参数 中 读 取 它 )， 我 们 只 需 调用 spider() 函数 即 可 。 


spider(process.argv[2], (err, filename, downloaded) => { 
if (err) { 
console.1log(err); 
} else if (downloaded) { 


console.10g( Completed the download of "${filename}" ); 
} else { 


console.log( "${filename}" was already downloaded  ); 
} 
}); 


现在 ， 我 们 开始 尝试 运行 Web 扑 虫 应 用 程序 ， 但 是 首先 ， 确 保 已 
有 utilities.js 模块 和 package.json 中 的 所 有 依赖 包 已 经 安装 到 你 的 项 目 
中 : 


npm install 


之 后 ， 我 们 执行 我 们 这 个 相 贝 模块 来 下 载 一 个 网 页 ， 使 用 以 下 命令 : 


node Spider http://www.example.com 


我 们 的 Web 卜 虫 应 用 程序 要 求 在 我 们 提供 的 URL 中 总 是 包含 协议 类 型 ( 例 
如 ， http:// )。 另 外 ， 不 要 期 望 HTML 链接 被 重新 编写 ， 也 不 要 期 望 下 载 像 图 片 
这 样 的 资源 ， 因 为 这 只 是 一 个 简单 的 例子 来 演示 异步 编程 是 如 何 工作 的 。 


01_web_spider 


01_web_spider git: 


All packages installed (57 packages installed from npm registry, used 2s, speed 550.84kB/s, json 56 
(111.88kB)，tarbal1L 1.22MB) 


01_web_spider g 





回调 地 狱 


看 看 我 们 的 spider() 函数 ， 我 们 可 以 发 现 ， 尽 管 我 们 实现 的 算法 非常 简单 ， 但 是 
生成 的 代码 有 几 个 级 别 的 缩 进 ， 而 且 很 难 读 懂 。 使 用 阻塞 式 的 同步 API 实现 类 似 
的 功能 是 很 简单 的 ， 而 且 很 少 有 机 会 让 它 看 起 来 如 此 错误 。 然 而 ， 使 用 异 

步 CPS 是 另 一 回 事 ， 使 用 闭 包 可 能 会 导致 出 现 难 以 阅读 的 代码 。 


大 量 闭 包 和 回调 将 代码 转换 成 不 可 读 的 、 难 以 管理 的 情况 称 为 回调 地 狱 。 它 
是 Node ,js 中 最 受 认可 和 最 严重 的 反 模式 之 一 。 一 般 来 说 ， 对 于 JavaScript 而 
言 。 受 此 问题 影响 的 代码 的 典型 结构 如 下 : 


asyncFoo(err => { 
asyncBar(err => { 
asyncFooBar(err => { 


我 们 可 以 看 到 ， 用 这 种 方式 编写 的 代码 是 如 何 形成 金字 塔 形状 的 ， 由 于 深 诅 的 原因 
导致 的 难以 阅读 ， 称 为 “末日 金字 塔 ”。 


像 前 面 的 代码 片段 这 样 的 代码 最 明显 的 问题 是 可 读 性 差 。 由 于 腐 套 太 深 ， 几 乎 不 可 
能 跟踪 回调 函数 的 结束 位 置 和 另 一 个 回调 函数 开始 的 位 置 。 


另 一 个 问题 是 由 每 个 作用 域 中 使 用 的 变量 名 的 重 本 引起 的 。 通 常 ， 我 们 必须 使 用 类 
似 甚 至 相同 的 名 称 来 描述 变量 的 内 容 。 最 好 的 例子 是 每 个 回调 接收 到 的 错误 参数 。 
有 些 人 经 常 尝试 使 用 相同 名 称 的 变 体 来 区 分 每 个 范围 内 的 对 和 象 ， 例 

如 ，error 、err 、 err1l 、 err2 等 等 。 另 一 些 人 则 倾向 于 隐藏 在 范围 中 定 
义 的 变量 ， 总 是 使 用 相同 的 名 称 。 例 如 ， err 。 这 两 种 选择 都 远 非 完美 ， 而 且 会 
造成 混淆 ， 并 增加 导致 bug 的 可 能 性 。 


此 外 ， 我 们 必须 记 住 ， 虽 然 闭 包 在 性 能 和 内 存 消耗 方面 的 代价 很 小 。 此 外 ， 它 们 还 
可 以 创建 不 多 识别 的 内 存 泄漏 ， 因 为 我 们 不 应 该 忘记 ， 由 闭 包 引用 的 任何 上 下 文 变 
量 都 不 会 被 垃圾 收集 所 保留 。 


关于 对 于 V8 的 闭 包 工作 原理 ， 可 以 参考 Vyacheslav Egorov 的 博客 文章 。 


如 果 我 们 看 一 下 我 们 的 spider() 函数 ， 我 们 会 清楚 地 注意 到 它 便 是 一 个 典型 的 回 
调 地 狱 的 场景 ， 并 且 在 这 个 函数 中 有 我 们 刚才 描述 的 所 有 问题 。 这 正 是 我 们 将 在 本 
章 中 学 习 的 模式 和 技巧 所 要 解决 的 问题 。 


使 用 简单 的 JavaScript 


既然 我 们 已 经 遇 到 了 第 一 个 回调 地 狱 的 例子 ， 我 们 知道 我 们 应 该 避免 什么 。 然 而 ， 
在 编写 异步 代码 时 ， 这 并 不 是 惟一 的 关注 点 。 事 实 上 ， 有 几 种 情况 下 ， 控 制 一 组 异 
步 任务 的 流 需要 使 用 特定 的 模式 和 技术 ， 特 别 是 如 果 我 们 只 使 用 普通 

的 JavaScript 而 没有 任何 外 部 库 的 帮助 的 情况 下 。 例 如 ， 通 过 按 顺序 应 用 异步 
操作 来 饥 历 集合 并 不 像 在 数组 中 调用 forEach() 那样 简单 ， 但 实际 上 它 需要 一 种 
类 似 于 递归 的 技术 。 


在 本 节 中 ， 我 们 将 学 习 如 何 避 免 回调 地 狱 ， 以 及 如 何 使 用 简单 的 JavaScript 实 
现 一 些 最 常见 的 控制 流 模式 。 


回调 函数 的 准则 


在 编写 异步 代码 时 ， 要 记 住 的 第 一 个 规则 是 在 定义 回调 时 不 要 滥用 闭 包 。 滥 用 闭 包 
一 时 很 类， 因为 它 不 需要 对 诸如 模块 化 和 可 重用 性 这 样 的 问题 进行 额外 的 思考 。 但 
是 ， 我 们 已 经 看 到 ， 这 种 做 法 疯 大 于 利 。 大 多 数 情况 下 ， 修 复 回 调 地 狱 问题 并 不 需 
要 任何 库 、 花 哨 的 技术 或 范式 的 改变 ， 只 是 一 些 常 识 。 


以 下 是 一 些 基本 原则 ， 可 以 帮助 我 们 更 少 的 谋 套 ， 并 改进 我 们 的 代码 的 组 织 : 


@ 尽 可 能 退出 外 层 函 数 。 根 据 上 下 文 ， 使 用 return 、 continue 或 break ， 
以 便 立 即 退 出 当前 代码 块 ， 而 不 是 使 用 if...else 代码 块 。 其 他 语 押 。 这 将 
有 助 于 优化 我 们 的 代码 结构 。 

@ 为 回调 创建 命名 函数 ， 避 免 使 用 闭 包 ， 并 将 中 间 结 果 作 为 参数 传递 。 命 名 函数 
也 会 使 它们 在 堆栈 跟踪 中 更 优雅 。 

e。 代码 尽 可 能 模块 化 。 并 尽 可 能 将 代码 分 成 更 小 的 、 可 重用 的 函数 。 


回调 调用 的 准则 


为 了 展示 上 述 原 则 ， 我 们 通过 重 构 Web 卜 虫 应 用 程序 来 说 明 。 


对 于 第 一 步 ， 我 们 可 以 通过 删除 else 语句 来 重 构 我 们 的 错误 检查 方式 。 这 是 在 我 
们 收 到 错误 后 立即 从 函数 中 返回 。 因 此 ， 看 以 下 代码 : 


if (err) { 

callback(err); 
} else 时 

// 如 果 疫 有 错误 ， 执 行 该 代码 块 
} 


我 们 可 以 通过 编写 下 面 的 代码 来 改进 我 们 的 代码 结构 : 


fear 人 
return callback(err); 


有 了 这 个 简单 的 技巧 ， 我 们 立即 减少 了 函数 的 内 套 级 别 ， 它 很 简单 ， 不 需要 任何 复 
杂 的 重 构 。 

在 执行 我 们 刚才 描述 的 优化 时 ， 一 个 常见 的 错误 是 在 调用 回调 函数 之 后 忘记 终止 函 
数 ， 即 return 。 对 于 错误 处 理 场景 ， 以 下 代码 是 bug 的 典型 来 源 : 


If (err) { 
callback(err); 


在 这 个 例子 中 ， 即 使 在 调用 回调 之 后 ， 函 数 的 执行 也 会 继续 。 那 么 避免 这 种 情况 的 
出 现 ， return 语 甸 是 十 分 必要 的 。 还 要 注意 ， 函 数 返 回 的 输出 是 什么 并 不 重要 ， 
实际 结果 (或 错误 ) 是 异步 生成 的 ， 并 传递 给 回调 。 异 步 函 数 的 返回 值 通常 被 忽略 。 
该 属性 允许 我 们 编写 如 下 的 代码 : 


return callback(...); 


否则 我 们 必须 拆 成 两 条 语句 来 写 : 


callback(...); 
net ny 


接 下 来 我 们 继续 重 构 我 们 的 spider() 函数 ， 我 们 可 以 尝试 识别 可 复 用 的 代码 上 
段 。 例 如 ， 将 给 定 字符 事 写 入 文件 的 功能 可 以 很 容易 地 分 解 为 一 个 单独 的 函数 : 


function saveFlile(filename，contents，callback) { 
mkdirp(path.dirname(filename), err => { 
if (err) { 
return callback(err); 
} 
fs.writeFile(filename, contents, callback); 
}); 
} 


遵循 同样 的 原则 ， 我 们 可 以 创建 一 个 名 为 download() 的 通用 有 函数 ， 它 
将 URL 和 文件 名 作为 输入 ， 并 将 URL 的 内 容 下 载 到 给 定 的 文件 中 。 在 内 部 ， 我 
们 可 以 使 用 前 面 创建 的 saveFile() 苑 数 。 


function download(url, filename, callback) { 
console.log( Downloading ${url} ); 
request(url, (err, response, body) => { 
if (err) { 
return callback(err); 


saveFile(filename, body, err => { 
if (err) { 
return callback(err); 


console.log( Downloaded and saved: $f{url}. ); 
callback(null, body); 
}); 
}); 
} 


最 后 ， 修 改 我 们 的 spider() 函数 : 


function spider(url, callback) { 
const filename = utilities.urlToFilename(ur]l); 
fs.exists(filename, exists => { 
if (exists) { 
return callback(null, filename, false); 
} 


download(url, filename, err => { 
if (err) { 
return callback(err); 


callback(null, filename, true); 
}) 
jp 
} 


spider() 函数 的 功能 和 接口 仍然 是 完全 相同 的 ， 改 变 的 仅仅 是 代码 的 组 织 方式 。 
通过 应 用 上 述 基 本 原则 ， 我 们 能 够 极 大 地 减少 代码 的 页 套 ， 同 时 增加 了 它 的 可 重用 
性 和 可 测试 性 。 实 际 上 ， 我 们 可 以 考虑 导出 saveFile() 和 download() ， 这 样 
我 们 就 可 以 在 其 他 模块 中 重用 它们 。 这 也 使 我 们 能 够 更 容易 地 测试 他 们 的 功能 。 


我 们 在 这 一 节 中 进行 的 重 构 清楚 地 表明 ， 大 多 数 时 候 ， 我 们 所 需要 的 只 是 一 些 规 
则 ， 并 确保 我 们 不 滥用 闭 包 和 匿名 部 数 。 它 的 工作 非常 出 色 ， 只 需 最 少 的 工作 量 ， 
并 且 只 使 用 原始 的 JavaScript 。 


顺序 执行 


现在 开始 探寻 异步 控制 流 的 执行 顺序 ， 我 们 会 通过 开始 分 析 一 串 异 步 代 码 来 探寻 其 
控制 流 。 


按 顺序 执行 一 组 任务 意味 着 一 次 一 个 接 一 个 地 运行 它们 。 执 行 顺 序 很 重要 ， 必 须 保 
证 其 正确 性 ， 因 为 列表 中 一 个 任务 的 结果 可 能 会 影响 下 一 个 任务 的 执行 。 下 图 说 明 
了 这 个 概念 : 





上 述 异 步 控制 流 有 一 些 不 同 的 变化 : 


@ 按 顺序 执行 一 组 已 知 任务 ， 无 需 链接 或 传递 执行 结果 

@ 使 用 任务 的 输出 作为 下 一 个 输入 (也 称 为 chain ， pipeline ， 或 
者 waterfall ) 

@ 在 每 个 元 素 上 运行 异步 任务 时 迭代 一 个 集合 ， 一 个 元 素 接 一 个 元 素 


对 于 顺序 执行 而 言 ， 尽 管 在 使 用 直接 样式 阻塞 API 实现 很 简单 ， 但 通常 情况 下 使 
用 异步 CPS 时 会 导致 回调 地 狱 问题 。 


按 顺 序 执行 一 组 已 知 的 任务 


在 上 一 节 中 实现 spider() 函数 时 ， 我 们 已 经 遇 到 了 顺序 执行 的 问题 。 通 过 研究 如 
下 方式 ， 我 们 可 以 更 好 地 控制 异步 代码 。 以 该 代码 为 准则 ， 我 们 可 以 用 以 下 模式 来 
解决 上 述 问题 : 


function taski(callback) { 
asyncOperation(() => { 
task2(callback ) ; 
}); 
} 


function task2(callback) { 
asyncOperation(result() => { 
task3(callback ) ; 
}); 
} 


function task3(callback) { 
asyncOperation(() => { 
callback(); //finally executes the callback 
}); 
} 


task1(() => { 
//executed when taski, task2 and task3 are completed 
console.log('tasks 1, 2 and 3 executed'); 


}); 


上 述 模式 显示 了 在 完成 一 个 异步 操作 后 ， 再 调用 下 一 个 异步 操作 。 该 模式 强调 任务 
的 模块 化 ， 并 且 避 免 在 处 理 异步 代 码 使 用 闭 包 。 


顺序 迭代 


我 们 前 面 描述 的 模式 如 果 我 们 预先 知道 要 执行 什么 和 有 多 少 个 任务 ， 这 些 模式 是 完 
美的 。 这 使 我 们 能 够 对 序列 中 下 一 个 任务 的 调用 进行 硬 编 码 ， 但 是 如 果 要 对 集合 中 
的 每 个 项 目 执行 异步 操作 ， 会 发 生 什 么 ?在 这 种 情况 下 ， 我 们 不 能 对 任务 序列 进行 
硬 编码 。 相 反 的 是 ， 我 们 必须 动态 构建 它 。 
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为 了 显示 顺序 迭代 的 例子 ， 让 我 们 为 Web 尺 虫 应 用 程序 引入 一 个 新 功能 。 我 们 现 
在 想 要 递归 地 下 载 网 页 中 的 所 有 链接 。 要 做 到 这 一 点 ， 我 们 将 从 页 面 中 提取 所 有 链 
接 ， 然 后 按 顺序 逐个 地 触发 我 们 的 Web 假 虫 应 用 程序 。 


第 一 步 是 修改 我 们 的 spider() 函数 ， 以 便 通 过 调用 一 个 名 为 spiderLinks() 的 
函数 触发 页 面 所 有 链接 的 递归 下 载 。 


此 外 ， 我 们 现在 尝试 读 取 文件 ， 而 不 是 检查 文件 是 否 已 经 存在 ， 并 开始 您 取 其 链 
接 。 这 样 ， 我 们 就 可 以 恢复 中 断 的 下 载 。 最 后 还 有 一 个 变化 是 ， 我 们 确保 我 们 传递 
的 参数 是 最 新 的 ， 还 要 限制 递归 深度 。 结 果 代 码 如 下 : 


function spider(url, nesting, callback) { 
const filename = utilities.urlToFilename(ur]l); 
fs.readFile(filename, ‘utf8', (err, body) => { 
if (err) { 
if (err.code! == 'ENOENT') { 
return callback(err); 


return download(url, filename, (err, body) => { 
(er 7 
return callback(err); 


spiderLinks(url, body, nesting, callback); 
}); 


spiderLinks(url, body, nesting, callback); 
}); 
} 


仆 取 链接 


现在 我 们 可 以 创建 这 个 新 版 本 的 Web 寂 时 应 用 程序 的 核心 ， 


即 spiderLinks() 函数 ， 它 使 用 顺序 异步 迭代 算法 下 载 HTML 页 面 的 所 有 链接 。 
注意 我 们 在 下 面 的 代码 块 中 定义 的 方式 : 


function spiderLinks(currentUrl, body, nesting, callback) { 
if(nesting === 0) { 


return process.nextTick(callback); 
} 


let links = utilities.getPageLinks(currentUrl1l, body); //I1] 
functiomiteratel(index) {YI2] 


if(index === links.length) { 
return callback(); 
} 


spider(links[index], nesting - 1, function(err) { //[3] 
if(err) { 
return callback(err); 


iterate(index + 1); 


}); 


iterate(0); //[4] 


从 这 个 新 功能 中 的 重要 步骤 如 下 


1. 我 们 使 用 utilities.getPageLinks() 函数 获取 页 面 中 包含 的 所 有 链接 的 列 
表 。 此 函数 仅 返 回 指向 相同 主机 名 的 链接 。 

2. 我 们 使 用 一 个 称 为 iterate() 的 本 地 函数 来 遍历 链接 ， 该 函数 需要 下 一 个 链 
接 的 索引 进行 分 析 。 在 这 个 函数 中 ， 我 们 首先 要 检查 索引 是 否 等 于 链接 数组 的 
长 度 ， 如 果 等 于 则 是 迭代 完成 ， 在 这 种 情况 下 我 们 立即 调用 callback() 函 
数 ， 因 为 这 意味 着 我 们 处 理 了 所 有 的 项 目 。 

3. 这 时 ， 处 理 链 接 已 准备 就 绪 。 我 们 通过 递归 调用 spider() 函数 。 

4. 作为 spiderLinks() 函数 的 最 后 一 步 也 是 最 重要 的 一 步 ， 我 们 通过 调 
用 iterate(9) 来 开始 迭代 。 


我 们 刚 月 | 提出 的 算法 允许 我 们 通过 顺序 执行 异步 操作 来 迭代 数组 ， 在 我 们 的 例子 中 
是 spider() 元 数 。 


我 们 现在 可 以 尝试 这 个 新 版 本 的 Web 斥 虫 应 用 程序 ， 并 观看 它 一 个 接 一 个 地 递归 
地 下 载 网 页 的 所 有 链接 。 要 中 断 这 个 过 程 ， 如 果 有 很 多 链接 可 能 需要 一 段 时 间 ， 请 
记 住 我 们 可 以 随时 使 用 Ctrl + C 。 如 果 我 们 决定 恢复 它 ， 我 们 可 以 通过 局 

动 Web 伶 虫 应 用 程序 并 提供 与 上 次 结束 时 相同 的 URL 来 恢复 执行 。 


现在 我 们 的 网 络 Web 斥 虫 应 用 程序 可 能 会 触发 整个 网 站 的 下 载 ， 请 仔细 考虑 使 用 
它 ， 不 要 设置 高 诺 套 级 别 ed 用 数 千 个 请 求 重 载 服 
器 是 不 道德 的 。 在 某 些 情况 下 ， 这 也 被 认为 是 非法 的 。 需 要 考虑 后 果 | 


迭代 模式 


我 们 之 前 展示 的 spiderLinks() 函数 的 代码 是 一 个 清楚 的 例子 ， 说 明了 如 何在 应 
用 异步 操作 时 和 迭代 集合 。 我 们 还 可 以 注意 到 ， 这 是 一 种 可 以 适应 任何 其 他 情况 的 模 
式 ， 我 们 需要 在 集合 的 元 素 或 通常 的 任务 列表 上 按 顺序 异步 先 代 。 该 模式 可 以 推广 
如 下 : 


function iterate(index) { 
If (index === tasks.length) { 
return finish(); 


const task = tasks[index]; 
task(function() { 
iterate(index + 1); 
}); 
} 


funeelone fmas 0 { 
// 迭代 完成 的 操作 


} 


iterate(0); 


注意 到 ， 如 果 task() 是 同步 操作 ， 这 些 类 型 的 算法 变 得 丨 正 递归 。 在 这 种 情况 
下 ， 可 能 造成 调用 栈 的 溢出 。 


我 们 刚刚 提出 的 模式 是 非常 强大 的 ， 因 为 它 可 以 适应 几 种 情况 。 例 如 ， 我 们 可 以 映 
射 数组 的 值 ， 或 者 我 们 可 以 将 迭代 的 结果 传递 给 迭代 中 的 下 一 个 ， 以 实现 一 个 
reduce 算 法 ， 如 果 满 足 特 定 的 条 件 ， 我 们 可 以 提前 退出 循环 ， 或 者 坎 至 可 以 迭代 无 
限 数量 的 元 素 。 


我 们 还 可 以 选择 将 解决 方案 进一步 推广 : 


iterateSeries(collection, iteratorCallback, finalCcallback); 


通过 创建 一 个 名 为 iterator 的 郊 数 来 执行 任务 列表 ， 该 函数 调用 集合 中 的 下 一 个 
可 执行 的 任务 ， 并 确保 在 当前 任务 完成 时 调用 和 迭代 器 结束 的 回调 函数 。 


在 茶 些 情况 下 ， 一 组 异步 任务 的 执行 顺序 并 不 重要 ， 我 们 只 需要 在 所 有 这 些 运 行 的 
任务 





如 果 我 们 认为 Node .js 是 单线 程 的 话 ， 这 可 能 听 起 来 很 奇怪 ， 但 是 如 果 我 们 记 住 
我 们 在 第 一 章 中 讨论 过 的 内 容 ， 我 们 意识 到 即使 我 们 只 有 一 个 线程 ， 我 们 仍然 可 以 
实现 并 发 ， 由 于 Node.js 的 非 阻塞 性 质 。 实 际 上 ， 在 这 种 情况 下 ， 并 行 字 不 正确 
地 使 用 ， 因 为 这 并 不 意味 着 任务 同时 运行 ， 而 是 它们 的 执行 由 底层 的 非 阻 

塞 API 执行 ， 并 由 事件 循环 进行 交织 。 

我 们 知道 ， 当 一 个 任务 允许 事件 循环 执行 另 一 个 任务 时 ， 或 者 是 说 一 个 任务 允许 控 
制 回 到 事件 循环 。 这 种 工作 流 的 名 称 为 并 发 ， 但 为 了 简单 起 见 ， 我 们 仍然 会 使 用 并 
行 。 


下 图 显示 了 两 个 异步 任务 可 以 在 Node.js 程序 中 并 行 运行 : 





Call 
Return » 





通过 上 图 ， 我 们 有 一 个 Main 函数 执行 两 个 异步 任务 : 


1. 


Main 子 数 触发 Task 1 和 Task 2 的 执行 。 由 于 这 些 触 发 异步 操作 ， 这 两 
个 函数 会 立即 返回 ， 并 将 控制 权 返 还 给 主 函 数 ， 之 后 等 到 事件 循环 究 成 再 通知 
主线 程 。 


. 当 Task 1 的 异步 操作 完成 时 ， 事 件 循 环 给 与 其 线程 控制 权 。 当 Task 1 同 


步 操 作 完 成 时 ， 它 通知 Main 元 数 。 


. 当 Task 2 的 蜡 步 操作 完成 时 ， 事 件 循环 给 与 其 线程 控制 权 。 当 Task 2 同 


步 操 作 完 成 时 ， 它 再 次 通知 Main 函数 。 在 这 一 点 上 ， Main 有 函数 知 
晓 Task 1 和 Task 2 都 已 经 执行 完毕 ， 所 以 它 可 以 继续 执行 其 后 操作 或 将 
操作 的 结果 返回 给 另 一 个 回调 函数 。 


简 而 言 之 ， 这 意味 着 在 Node.js 中 ， 我 们 只 能 执行 并 行 异 步 操 作 ， 因 为 它们 的 并 


发 性 由 非 阻塞 API 在 内 部 处 理 。 在 Node.js 中 ， 同 步 阻塞 操作 不 能 同时 运行 ， 


除非 它们 的 执行 与 异步 操作 交错 ， 或 者 通 
过 setTimeout() 或 setImmediate() 延迟 。 我 们 将 在 第 九 章 中 更 详细 地 看 到 这 


一 点 o 
MAN 
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上 边 的 web 卜 虫 在 并 行 异 步 操作 上 似乎 也 算 表 现 得 很 完美 。 到 目前 为 止 ， 应 用 程 
序 正在 递归 地 执行 链接 页 面 的 下 载 。 但 性 能 不 是 最 佳 的 ， 想 要 提升 这 个 应 用 的 性 能 
很 容易 。 


要 做 到 这 一 点 ， 我 们 只 需要 修改 spiderLinks() 有 函数 ， 确 保 spider() 任务 只 执 
行 一 次 ， 当 所 有 任务 都 执行 完毕 后 ， 调 用 最 后 的 回调 ， 所 以 我 们 
对 spiderLinks() 做 如 下 修改 : 


function spiderLinks(currentUrl, body, nesting, callback) { 
if (nesting === 0) { 
return process.nextTick(callback); 


const links = utilities.getPageLinks(currentUrl, body); 
if (links.length === 0) { 
return process.nextTick(callback); 


let completed = 0 
hasErrors = false 
function done(err) { 
if (err) { 
hasErrors = true; 
return callback(err); 


} 

If (++completed === links.length && !hasErrors) { 
return callback(); 

} 


} 
links.forEach(link => { 
spider(link, nesting - 1, done); 


J 


上 述 代 码 有 何 变化 ?， 现 在 spider() 函数 的 任务 全 部 同步 启动 。 可 以 通过 简单 地 
遍历 链接 数组 和 局 动 每 个 任务 ， 我 们 不 必 等 待 前 一 个 任务 完成 再 进行 下 一 个 任务 : 


links.forEach(link => { 
spider(link, nesting - 1, done); 


3) 


然后 ， 使 我 们 的 应 用 程序 知晓 所 有 任务 完成 的 方法 是 为 spider() 函数 提供 一 个 特 
殊 的 回调 函数 ， 我 们 称 之 为 done() 。 当 卜 虫 任务 完成 时 ， done() 遂 数 设 定 一 
个 计数 器 。 当 完成 的 下 载 次 数 达 到 链接 数组 的 大 小 时 ， 调 用 最 终 回调 : 


function done(err) 
If (err) 1{ 
hasErrors = true; 
return callback(err); 


If (++completed === links.length && !hasErrors) { 
callback( ); 


通过 上 述 变 化 ， 如 果 我 们 现在 试图 对 网 页 运行 我 们 的 你 虫 ， 我 们 将 注意 到 整个 过 程 
的 速度 有 很 大 的 改进 ， 因 为 每 次 下 载 都 是 并 行 执行 的 ， 而 不 必 等 待 之 前 的 链接 被 处 
理 。 

模式 


此 外 ， 对 于 并 行 执行 流程 ， 我 们 可 以 提取 我 们 方案 ， 以 便 适 应 于 不 同 的 情况 提高 代 
码 的 可 复 用 性 。 我 们 可 以 使 用 以 下 代码 来 表示 模式 的 通用 版 本 : 


consetasks 0 
let completed = 0; 
tasks.forEach(task => { 
task(() => { 
If (++completed === tasks.length) { 
finish( ); 


} 
}); 
}); 


function finish() { 


// 所 有 任务 执行 完成 后 调用 


} 


通过 小 的 修改 ， 我 们 可 以 调整 模式 ， 将 每 个 任务 的 结果 累积 到 一 个 List 中 ， 以 便 
过 滤 或 映射 数组 的 元 素 ， 或 者 一 旦 完成 了 一 个 或 一 定数 量 的 任务 即 可 调 
用 finish() 回调 。 

注意 : 如 果 是 没有 限制 的 情况 下 ， 并 行 执行 的 一 组 异步 任务 ， 然 后 等 待 所 有 异 


完成 后 执行 回调 这 种 方式 ， 其 方法 是 计算 它们 的 执行 完成 的 数目 。 


用 并 发 任务 修复 竞争 条 件 


当 使 用 阻塞 I/0 与 多 线程 组 合 的 方式 时 ， 并 行 运 行 一 组 任务 可 能 会 导致 一 些 问 
题 。 但 是 ， 我 们 刚刚 看 到 ， 在 Node.js 中 却 不 一 样 ， 并 行 运行 多 个 异步 任务 实际 
上 在 资源 方面 消耗 较 低 。 这 是 Node.js 最 重要 的 优点 之 一 ， 因 此 在 Node.js 中 
并 行 化 成 为 一 种 常见 的 做 法 ， 而 且 这 并 是 多 么 复杂 的 技术 。 





NO 

eu 

沪 
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Node.js 的 并 发 模型 的 另 一 个 重要 特征 是 我 们 处 理 任务 同步 和 竞争 条 件 的 方式 。 
在 多 线程 编程 中 ， 这 通常 使 用 诸如 锁 ， 互 斥 条 件 ， 信 号 量 和 观察 器 之 类 的 构造 来 实 
现 ， 这 些 是 多 线程 语言 并 行 化 的 最 复杂 的 方面 之 一 ， 对 性 能 也 有 很 大 的 影响 。 

在 Node.js 中 ， 我 们 通常 不 需要 一 个 花哨 的 同步 机 制 ， 因 为 所 有 运行 在 单个 线程 
上 但是， 这 并 不 意味 着 我 们 没有 竞争 条 件 。 相 反 ， 他 们 可 以 相当 普遍 。 问 题 的 根 
源 在 于 异步 操作 的 调用 与 其 结果 通知 之 间 的 延迟 。 举 一 个 具体 的 例子 ， 我 们 可 以 再 
次 参考 我 们 的 _ Web 爬虫 应 用 程序 ， 特 别 是 我 们 创建 的 最 后 一 个 版 本 ， 其 实际 上 包 
含 一 个 竞争 条 件 。 


问题 在 于 在 开始 下 载 相应 的 URL 的 文档 之 前 ， 检 查 文 件 是 否 已 经 存在 
的 spider() 函数 : 


funetlon spider(url nesting callback) 到 
if(spidering.has(url)) { 
return process.nextTick(callback); 
} 


spidering.set(url, true); 


const filename = utilities.urlToFilename(ur]l); 
fs.readFile(filename, 'utf8', function(err, body) { 


Tf(ermm) 
if(err.code !== 'ENOENT') { 
return callback(err); 
} 


return download(url, filename, function(err, body) { 
if(err) { 
return callback(err); 


spiderLinks(url, body, nesting, callback); 
}); 
} 


spiderLinks(url, body, nesting, callback); 
}); 
} 


现在 的 问题 是 ， 在 同一 个 URL 上 操作 的 两 个 爬虫 任务 可 能 会 在 两 个 任务 之 一 完成 
下 载 并 创建 一 个 文件 ， 导 致 第 二 个 任务 开始 下 载 之 前 ， 在 同一 个 文件 上 调 
用 fs.readFile() 的 结果 不 对 ， 致 使 下 载 两 次 。 这 种 情况 如 下 图 所 示 : 











Read completes, Download and save completes, 
file does not exists now the files exists 
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Read completes, Download and save completes, 
file does not exists file was saved twice 





上 图 显示 了 Task 1 和 Task 2 如 何在 Node.js 的 单个 线程 中 交错 执行 ， 以 及 异 
步 操 作 如 何 实际 引入 竞争 条 件 。 在 我 们 的 情况 下 ， 两 个 仆 忠 任务 最 终 会 下 载 相 同 的 
文件 。 我 们 如 何 解 决 这 个 问题 ?答案 比 我 们 想象 的 要 简单 得 多 。 实 际 上 ， 我 们 所 需 
要 的 只 是 一 个 变量 ( 互 矿 变量 ) ， 可 以 相互 排除 运行 在 同一 个 URL 上 的 多 

个 spider() 任务 。 这 可 以 通过 以 下 代码 来 实现 : 


const Spidering = new Map(); 


functaonEspaderurlinestinogAaicanlback) 厌 | 
If (spidering.has(url)) { 
return process.nextTick(callback); 


} 
spidering.set(url, true); 
LA 

} 


并 行 执行 频率 限制 


通常 ， 如 果 不 控制 并 行 任务 频率 ， 并 行 任务 就 会 导致 过 载 。 想 象 一 下 ， 有 数 千 个 文 
件 要 读 取 ， 访 问 的 URL 或 数据 库 查询 并 行 运 行 。 在 这 种 情况 下 ， 常 见 的 问题 是 系 
统 资 源 不 足 ， 例 如 ， 当 尝试 一 次 打开 太 多 文件 时 ， 利 用 可 用 于 应 用 程序 的 所 有 文件 
描述 符 。 在 Web 应 用 程序 中 ， 它 还 可 能 会 创建 一 个 利用 拒绝 服务 ( DoS ) 攻击 的 
漏洞 。 在 所 有 这 种 情况 下 ， 最 好 限制 同时 运行 的 任务 数量 。 这 样 ， 我 们 可 以 为 服务 
器 的 负载 增加 一 些 可 预测 性 ， 并 确保 我 们 的 应 用 程序 不 会 耗 尽 资源。 下 图 描述 了 一 
个 情况 ， 我 们 将 五 个 任务 并 行 运行 并 发 限制 为 两 段 : 








从 上 图 可 以 清楚 我 们 的 算法 如 何 工 作 : 

1. 我 们 可 以 执行 尽 可 能 多 的 任务 ， 而 不 超过 并 发 限制 。 

2. 每 当 任 务 完 成 时 ， 我 们 再 执行 一 个 或 多 个 任务 ， 同 时 确保 任务 数量 达 不 到 限 
制 。 

并 发 限制 

我 们 现在 提出 一 种 模式 ， 以 有 限 的 并 发 性 并 行 执 行 一 组 给 定 的 任务 : 


const tasks = ... 
let concurrency = 2, running = 0, completed = 0, index = 0; 


function next() { 
while (running < concurrency && index < tasks.length) { 
task = tasks[index++]; 
task(() => { 
If (completed === tasks.length) { 
return finish(); 


completed++, running--; 
next(); 


}); 
running++; 


} 
next( ); 


me om ns i 
// 所 有 任务 执行 完成 


} 


该 算法 可 以 被 认为 是 顺序 执行 和 并 行 执 行 之 间 的 混合 。 事 实 上 ， 我 们 可 能 会 注意 到 
我 们 之 前 介绍 的 两 种 模式 的 相似 之 处 : 


1. 我 们 有 一 个 选 代 器 函数 ， 我 们 称 之 为 next() ， 有 一 个 内 部 循环 ， 并 行 执行 尽 
可 能 多 的 任务 ， 同 时 保持 并 发 限制 。 

2. 我 们 传递 给 每 个 任务 的 回调 检查 是 否 完成 了 列表 中 的 所 有 任务 。 如 果 还 有 任务 
要 运行 ， 它 会 调用 next() 来 执行 下 一 个 任务 。 


全 局 并 发 限制 


我 们 的 Web 怜 虫 应 用 程序 非常 适合 应 用 我 们 所 学 到 的 限制 一 组 任务 的 并 发 性 。 事 
实 上 ， 为 了 避免 同时 爬 上 数 千 个 链接 的 情况 ， 我 们 可 以 通过 在 并 发 下 载 数量 上 增加 
一 些 措施 来 限制 并 发 量 。 


0.11 之 前 的 Node.js 版 本 已 经 将 每 个 主机 的 并 发 HTTP 连 接 数 限制 为 5. 然 而 ， 这 
可 以 改变 以 适应 我 们 的 需要 。 请 查看 官方 文 

档 http://nodejs.org/docs/v0.10.0/api/http.html#http_agent_m axsockets 中 的 更 
多 内 容 。 从 Node.js 0.11 开 始 ， 并 发 连接 数 没 有 默认 限制 。 


我 们 可 以 将 我 们 刚刚 学 到 的 模式 应 用 到 我 们 的 spiderLinks() 函数 ， 但 是 我 们 将 
获得 的 只 是 限制 一 个 页 面 中 的 一 组 链接 的 并 发 性 。 如 果 我 们 选择 了 并 发 量 为 2， 我 
们 最 多 可 以 为 每 个 页 面 并 行 下 载 两 个 链接 。 然 而 ， 由 于 我 们 可 以 一 次 下 载 多 个 链 
接 ， 因 此 每 个 页 面 都 会 产生 另外 两 个 下 载 ， 这 样 递归 下 去 ， 其 实 也 没有 完全 做 到 并 
发 量 的 限制 。 


使 用 队列 


我 们 丨 正 想 要 的 是 限制 我 们 可 以 并 行 运行 的 全 局 下 载 操作 数量 。 我 们 可 以 略微 修改 
之 前 展示 的 模式 ， 但 是 我 们 宁愿 把 它 作 为 一 个 练习 ， 因 为 我 们 想 借 此 机 会 引入 另 一 
个 机 制 ， 它 利用 队列 来 限制 多 个 任务 的 并 发 性 。 让 我 们 看 看 这 是 如 何 工作 的 。 


我 们 现在 要 实现 一 个 名 为 TaskQueue 类 ， 它 将 队列 与 我 们 之 前 提 到 的 算法 相 结 
合 。 我 们 创建 一 个 名 为 taskQueue.js 的 新 模块 : 


class TaskQueue { 
constructor(concurrency) { 
this.concurrency = concurrency; 
this.running = 0; 
this.queue = []; 


} 

pushTask(task) { 
this.queue.push(task); 
this.next(); 


} 
next() { 
while (this.running < this.concurrency && this.dqueue.length) 
{ 


const task = this.dqueue.shift(); 
task(() => { 

this.running--; 

this.next(); 
}); 


this.running++; 
} 
} 
}; 


上 述 类 的 构造 函数 只 作为 输入 的 并 发 限制 ， 但 除 此 之 外 ， 它 初始 化 运行 和 队列 的 变 
量 。 前 一 个 变量 是 用 于 跟踪 所 有 正在 运行 的 任务 的 计数 器 ， 而 后 者 是 将 用 作 队 列 以 
存储 待 处 理 任务 的 数组 。 


pushTask() 方法 简单 地 将 新 任务 添加 到 队列 中 ， 然 后 通过 调用 this.next() 来 
引导 任务 的 执行 。 


next() 方法 从 队列 中 生成 一 组 任务 ， 确 保 它 不 超过 并 发 限制 。 


我 们 可 能 会 注意 到 ， 这 种 方法 与 限制 我 们 前 面 提 到 的 并 发 性 的 模式 有 一 些 相 似 之 
处 。 它 基本 上 从 队列 开始 尽 可 能 多 的 任务 ， 而 不 超过 并 发 限制 。 当 每 个 任务 完成 
时 ， 它 会 更 新 运行 任务 的 计数 ， 然 后 再 次 调用 next() 来 启动 另 一 轮 任 务 。 
TaskQueue 类 的 有 趣 属 性 是 它 允 许 我 们 动态 地 将 新 的 项 目 添加 到 队列 中 。 另 一 个 
优点 是 ， 现 在 我 们 有 一 个 中 央 实 体 负 责 限制 我 们 任务 的 并 发 性 ， 这 可 以 在 函数 执行 
的 所 有 实例 中 共享 。 在 我 们 的 例子 中 ， 它 是 spider() 元 数 ， 我 们 将 在 稍 后 看 到 。 


Web 民 虫 版 本 4 


现在 我 们 有 一 个 通用 的 队列 来 执行 有 限 的 并 行 流程 中 的 任务 ， 我 们 可 以 在 我 们 
的 Web 伶 虫 应 用 程序 中 直接 使 用 它 。 我 们 首先 加 载 新 的 依赖 关系 并 通过 将 并 发 限 
制 设置 为 2 来 创建 TaskQueue 类 的 新 实例 : 


const TaskQueue = require('./taskQueue' ); 
const downloadQueue = new TaskQueue(2); 


接 下 来 ， 我 们 使 用 新 创建 的 downloadQueue 更 新 spiderLinks() 函数 : 


function spiderLinks(currentUrl, body, nesting, callback) { 
if (nesting === 0) { 
return process.nextTick(callback); 


const links = utilities.getPageLinks(currentUrl, body); 
if (links.length === 0) { 
return process.nextTick(callback); 


let completed = 0, 
hasErrors = false; 
links.forEach(1link => { 
downloadQueue.pushTask(done => { 
spider(link, nesting - 1, err => { 
If (err) { 
hasErrors = true; 
return callback(err); 


} 
If (++completed === links.length && !hasErrors) { 


callback(); 


这 个 元 数 的 这 种 新 的 实现 是 非常 容易 的 ， 它 与 这 本 章 前 面 提 到 的 无 限 并 行 执 行 的 算 
法 非常 相似 。 这 是 因为 我 们 将 并 发 控制 委托 给 TaskQueue 对 象 ， 我 们 唯一 要 做 的 
就 是 检查 所 有 任务 是 否 完 成 。 看 上 述 代 码 中 如 何 定义 我 们 的 任务 : 


e@ 我 们 通过 提供 自 定义 回调 来 运行 spider() 函数 。 

。 在 回调 中 ， 我 们 检查 与 spiderLinks() 函数 执行 相关 的 所 有 任务 是 否 完成 。 
当 这 个 条 件 为 真 时 ， 我 们 调用 spiderLinks ( ) 函数 的 最 后 回调 。 

e 在 我 们 的 任务 结束 时 ， 我 们 调用 了 done() 回调 ， 以 便 队 列 可 以 继续 执行 。 


在 我 们 进行 这 些小 的 变化 之 后 ， 我 们 现在 可 以 尝试 再 次 运行 Web 疏 虫 应 用 程序 。 
这 一 次 ， 我 们 应 该 注意 到 ， 同 时 不 会 有 两 个 以 上 的 下 载 。 


async 库 


如 果 我 们 到 目前 为 止 我 们 分 析 的 每 一 个 控制 流程 模式 看 一 下 ， 我 们 可 以 看 到 它们 可 
以 用 作 构 建 可 重用 和 更 通用 的 解决 方案 的 基础 。 例 如 ， 我 们 可 以 将 无 限制 的 并 行 执 
行 算 法 包装 到 一 个 接受 任务 列表 的 函数 中 ， 并 行 运行 它们 ， 并 且 当 它们 都 完成 时 调 
用 给 定 的 回调 函数 。 将 控制 流 算法 转化 为 可 重用 功能 的 这 种 方式 可 以 导致 更 具 声 明 
性 和 表达 性 的 方式 来 定义 异步 控制 流 ， 这 正 是 async 所 做 的 。 async 库 是 一 个 非常 
流行 的 解决 方案 ， 在 Node.js 和 Javascript 中 来 说 ， 用 于 处 理 异 步 代 码 。 它 提 
供 了 一 组 功能 ， 可 以 大 大 简化 不 同 配置 中 一 组 任务 的 执行 ， 并 为 异步 处 理 集合 提供 
了 有 用 的 帮助 。 即 使 有 其 他 几 个 具有 相似 目标 的 库 ， 由 于 它 的 受 欢 迎 程度 ， 

此 async 是 Node,js 中 的 一 个 事实 上 的 标准 。 


顺序 执行 


async 库 可 以 在 实现 复杂 的 异步 控制 流程 时 大 大 帮助 我 们 ， 但 是 一 个 难题 就 是 选 
择 正 确 的 库 来 解决 问题 。 例 如 ， 对 于 顺序 执行 ， 有 大 约 20 个 不 同 的 函数 可 供 选择 ， 
包括 eachSeries() ，mapSeries() ，filterSeries() ，rejectSseries() ， 
reduce() ，reduceRight() ，detectSeries() ， concatSeries(),, 
series() ,， whilst() , dowhilst() ,， until() ，dountil() ， 

forever() ,， waterfall() , compose() ， seq() ， applyEachSeries(), 
iterator() ,和 timesSeries() 。 


选择 正确 的 函数 是 编写 更 稳固 和 可 读 的 代码 的 重要 一 步 ， 但 这 也 需要 一 些 经 验 和 实 
践 。 在 我 们 的 例子 中 ， 我 们 将 仅 介绍 其 中 的 一 些 情况 ， 但 它们 仍 将 为 理解 和 有 效 地 
使 用 库 的 其 余部 分 提供 坚实 的 基础 。 


下 面 ， 通 过 例子 说 明 async 库 如 何 工 作 ， 我 们 将 用 于 我 们 的 Web 人 爬虫 应 用 程序 。 
我 们 直接 从 版 本 2 开始 ， 按 顺序 递归 地 下 载 所 有 的 链接 。 


但 是 ， 首 先 我 们 确保 将 async 库 安 装 到 我 们 当前 的 项 目 中 : 


npm install async 


然后 我 们 需要 从 spider.js 模块 加 载 新 的 依赖 项 : 


const async = require('async'); 


已 知 一 组 任务 的 顺序 执行 
我 们 先 修改 download() 兄 数 。 如 下 所 示 ， 它 依次 做 了 以 下 三 件 事 : 


1. 下 载 URL 的 内 容 。 
2. 创建 一 个 新 目录 (如 果 尚 不 存在 ) 。 
3. 将 URL 的 内 容 保存 到 文件 中 。 


async.series() 可 以 实现 顺序 执行 一 组 任务 : 


async.series(tasks, [callback]) 


async.series() 接受 一 个 任务 列表 和 一 个 在 所 有 任务 完成 后 调用 的 回调 函数 作 
为 参数 。 每 个 任务 只 是 一 个 接受 回调 函数 的 函数 ， 当 任务 完成 执行 时 ， 这 个 回调 函 
数 被 调用 : 


function task(callback) {} 


async 的 优势 是 它 使 用 与 Node,js 相同 的 回调 约定 ， 它 会 自动 处 理 错 误 传播 。 
所 以 ， 如 果 任 何 一 个 任务 调用 它 的 回调 并 且 产 生 了 一 个 错误 ，async 将 跳 过 列表 
中 剩余 的 任务 ， 直 接 跳 转 到 最 后 的 回调 。 


考虑 到 这 一 点 ， 让 我 们 看 看 如 何 通过 使 用 async 来 修改 上 述 的 download() 函 
数 : 


function download(url, filename, callback) { 
console.log( Downloading ${url} ); 
let body; 
async.series([ 
callback => { 
request(url, (err, response, resBody) => { 
if (err) { 
return callback(err); 
} 
body = resBody; 
callback( ); 


}); 


}, 
mkdirp.bind(null, path.dirname(filename)), 
callback => { 

fs.writeFile(filename, body, callback); 


} 
el > 
if (err) { 
return callback(err); 


console.1og( Downloaded and saved: ${url}. ); 
callback(null, body); 


}); 
} 


对 比 起 这 段 代码 的 回调 地 狱 版 本 ， 使 用 async 方式 使 我 们 能 够 更 好 地 组 织 我 们 的 
异步 任务 。 并 且 不 会 内 套 回调 ， 因 为 我 们 只 需要 提供 一 个 的 任务 列表 ， 通 常 对 于 用 
于 每 个 异步 操作 ， 然 后 异步 任务 将 依次 执行 : 


1. 首先 是 下 载 URL 的 内 容 。 我 们 将 响应 体 保 存 到 一 个 闭 包 变量 ( body ) 中 ， 
以 便 它 可 以 与 其 他 任务 共享 。 

2. 创建 并 保存 下 载 的 页 面 的 目录 。 我 们 通过 执行 mkdirp() 函数 实现 ， 并 和 创建 
的 目录 路 径 绑 定 。 这 样 ， 我 们 可 以 节省 几 行 代码 并 增加 其 可 读 性 。 

3. 最 后 ， 我 们 将 下 载 的 URL 的 内 容 写 入 文件 。 在 这 种 情况 下 ， 我 们 无 法 执行 部 
分 应 用 程序 〈 就 像 我 们 在 第 二 个 任务 中 所 做 的 那样 ) ， 因 为 变量 body 只 在 系 
列 中 的 下 载 任务 完成 后 才 可 用 。 但 是 ， 通 过 将 任务 的 回调 直接 传递 
到 fs,writeFile() 辑 数 ， 我 们 仍然 可 以 通过 利用 异步 的 自动 错误 管理 来 保 
存 一 些 代码 行 。4. 完 成 所 有 任务 后 ， 将 调用 async.series() 的 最 后 回调 。 
在 我 们 的 例子 中 ， 我 们 只 是 做 一 些 错 误 管理 ， 然 后 返回 body 变量 来 回 
调 download() 遂 数 。 


对 于 上 述 情况 ， async.series() 的 一 个 可 替代 的 方法 

是 async.waterfall() ， 它 仍然 按 顺序 执行 任务 ， 但 另外 还 提供 每 个 任务 的 输出 
作为 下 一 个 输入 。 在 我 们 的 情况 下 ， 我 们 可 以 使 用 这 个 特征 来 传播 body 变量 直到 
序列 结束 。 


顺序 迭代 


在 前 面 讲 了 如 何 按 顺 序 执行 一 组 任务 。 上 面 的 例子 async.series() 来 做 到 这 一 
点 。 可 以 使 用 相同 的 功能 来 实现 Web 尺 虫 版 本 2 的 spiderLinks() 函数 。 然 
而 ， async 为 特定 的 情况 提供 了 一 个 更 合适 的 API ， 遍 历 一 个 集合 ， 这 

个 API 是 async.eachSeries() 。 我 们 来 使 用 它 来 重新 实现 我 们 

的 spiderLinks() 函数 【版 本 2， 串 行 下 载 ) ， 如 下 所 示 : 


function spiderLinks(currentUr1l, body, nesting, callback) { 
if (nesting === 0) { 
return process.nextTick(callback); 


const links = utilities.getPageLinks(currentUrl, body); 
If (links.length === 0) { 
return process.nextTick(callback); 


} 

async.eachseries(links, (link, callback) => { 
spider(link, nesting - 1, callback); 

}, callback); 


如 果 我 们 将 使 用 async 的 上 述 代 码 与 使 用 纯 JavaScript 模式 实现 的 相同 功能 的 
代码 进行 比较 ， 我 们 将 注意 到 async 在 代码 组 织 和 可 读 性 方面 给 我 们 带 来 的 巨大 
优势 。 


并 行 执 行 


async 不 具有 处 理 并 行 流 的 功能 ， 其 中 可 以 找 

到 each() ， map() ， filter() ， reject() ， detect() ， some() ，e 
， concat() ， parallel() ， applyEach() 和 times() 。 它 们 遵循 与 我 们 
已 经 看 到 的 用 于 顺序 执行 的 功能 相同 的 人 逻辑， 区 别 在 于 所 提供 的 任务 是 并 行 执 行 
的 。 


为 了 证 明 这 一 点 ， 我 们 可 以 尝试 应 用 上 述 功能 之 一 来 实现 我 们 的 Web 寂 虫 应 用 程 
序 的 第 三 版 ， 即 使 用 无 限制 的 并 行 流程 来 执行 下 载 。 


如 果 我 们 记 住 我 们 之 前 使 用 的 代码 来 实现 spiderLinks() 子 数 的 顺序 版 本 ， 那 么 
调整 它 使 其 并 行 工作 就 比较 简单 : 


function spiderLinks(currentUrl, body, mesting, callback) { 
// 和 
async. ,each( links, (link, callback) => { 
spider(link, nesting - 1, callback); 
}, callback); 


} 


这 个 函数 与 我 们 用 于 顺序 下 载 的 功能 完全 相同 ， 但 是 使 用 的 是 async ,each() 而 
非 async.eachseries() 。 这 清楚 地 表明 了 使 用 库 (例如 async ) 抽象 异步 流 的 
功能 。 代 码 不 再 绑 定 到 特定 的 执行 流程 了 ， 没 有 专门 为 此 写 的 代码 。 大 多 数 只 是 应 
用 人 逻辑。 


限制 并 行 执行 


如 果 你 想 知道 async 还 可 以 用 来 限制 并 行 任务 的 并 发 性 ， 答 案 是 肯定 的 。 我 们 有 
一 些 我 们 可 以 使 用 的 部 数 ， 
即 eachLimit() ， mapLimit() ， parallelLimit() ， queue() 和 cargo() 


O 


我 们 试图 利用 其 中 的 一 个 来 实现 Web 人 爬虫 应 用 程序 的 第 4 版 ， 以 有 限 的 并 发 性 并 行 
执行 链接 的 下 载 。 幸 运 的 是 ， async 有 async.queue() ， 它 的 工作 方式 与 本 章 
前 面 创建 的 TaskQueue 类 似 。 async.queue() 函数 创建 一 个 新 的 队列 ， 它 使 用 
一 个 worker() 函数 来 执行 一 组 具有 指定 并 发 限制 的 任务 : 


const q = async,dqueue(worker，concurrency ) ; 


worker() 元 数 作为 输入 接收 要 运行 的 任务 和 一 个 回调 函数 作为 参数 ， 当 任务 
时 执行 回调 : 


function worker(task, callback); 


我 们 应 该 注意 到 在 这 个 例子 中 task 可 以 是 任何 类 型 ， 而 不 仅仅 只 能 是 函数 。 实 
际 上 ， worker 有 责任 以 最 适当 的 方式 处 理 任 务 。 新 建 任 务 ， 可 以 通 

过 q,push(task，callback) 将 任务 添加 到 队列 中 。 一 个 任务 处 理 完 后 ， 关 联 一 
个 任务 的 回调 函数 必须 被 worker 调用 。 


现在 ， 我 们 再 次 修改 我 们 的 代码 实现 一 个 全 面 并 行 的 有 并 发 限制 的 执行 流 ， 利 
用 async.queue() ,首先 ， 我 们 需要 创建 一 个 队列 : 


const downloadQueue = async.queue((taskData, callback) => { 
spider(taskData.link, taskData.nesting - 1, callback); 
}, 2); 


代码 很 简单 。 我 们 正在 创建 一 个 并 发 限制 为 2 的 新 队列 ， 让 一 个 工作 人 员 只 需 使 用 
与 任务 关联 的 数据 调用 我 们 的 spider() 骂 数 。 接 下 来 ， 我 们 实 
现 spiderLinks() 有 子 数 : 


function spiderLinks(currentUrl, body, nesting, callback) { 
If (nesting === 0) { 
return process.nextTick(callback); 


const links = utilities.getPageLinks(currentUrl, body); 
If (links.length === 0) { 
return process.nextTick(callback ); 
} 
const completed = 0, 
hasErrors = false; 
links.forEach(function(link) { 
const taskData = { 
link: link, 
nesting: nesting 
}; 
downloadQueue.push(taskData, err => { 
if (err) { 
hasErrors = true; 
return callback(err); 


If (++completed === links.length && !hasErrors) { 
callback(); 


} 
}); 
}e)8 
} 


前 面 的 代码 应 该 看 起 来 非常 熟悉 ， 因 为 它 几 乎 和 使 用 TaskQueue 对 象 来 实现 相同 
流程 的 代码 相同 。 此 外 ， 在 这 种 情况 下 ， 要 分 析 的 重要 部 分 是 将 新 任务 推 入 队列 的 
位 置 。 在 这 一 点 上 ， 我 们 确保 我 们 传递 一 个 回调 ， 使 我 们 能 够 检查 当前 页 面 的 所 有 
下 载 任务 是 否 完 成 ， 并 最 终 调 用 最 终 回 调 。 


痒 亏 有 async.queue() ， 我 们 可 以 轻松 地 复制 我 们 的 TaskQueue 对 象 的 功能 ， 
再 次 证 明了 通过 async ， 我 们 可 以 避免 从 头 开始 编写 异步 控制 流 模 式 ， 减 少 我 们 
的 工作 量 ， 代 码 量 更 加 简洁 。 
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在 本 章 开始 的 时 候 ， 我 们 说 Node.js 的 编程 可 能 很 难 因 为 它 的 异步 性 ， 特 别 是 对 
于 以 前 在 其 他 平台 上 开发 的 人 而 言 。 然 而 ， 在 本 章 中 ， 我 们 展示 了 异步 API 如 何 
可 以 从 简单 原生 JavaScript 开始 ， 从 而 为 我 们 分 析 更 复杂 的 技术 商定 了 基础 。 
然后 我 们 看 到 ， 除 了 为 每 一 种 口味 提供 编程 风格 ， 我 们 所 掌握 的 工具 确实 是 多 样 化 
的 ， 并 为 我 们 大 部 分 的 问题 提供 了 很 好 的 解决 方案 。 人 例如， 我们 可 以 选 

择 async 库 来 简化 最 常见 的 流程 。 

还 有 更 为 先进 的 技术 ， 如 Promise 和 Generator 函数 ， 这 将 是 下 一 章 的 重点 。 
当 了 解 所 有 这 些 技术 时 ， 能 够 根据 需求 选择 最 佳 解决 方案 ， 或 者 在 同一 个 项 目 中 使 
用 多 种 技术 。 


Asynchronous Control Flow Patterns with 
ES2015 and Beyond 


在 上 一 章 中 5 我 们 学 习 了 如 何 使 用 回调 处 理 异步 代码 ? 以 及 如 何 解决 如 回调 地 狱 代 
码 等 异步 问题 。 回 调 是 JavaScript 和 Node.js 中 的 异步 编程 的 基础 ， 但 是 现 
在 ， 其 他 替代 方案 已 经 出 现 。 这 些 替代 方案 更 复杂 ， 以 便 能 够 以 更 方便 的 方式 处 理 
异步 代码 。 


在 本 章 中 ， 我 们 将 探讨 一 些 代表 性 的 替代 方案 ， Promise 和 Generator 。 以 
及 async await ， 这 是 一 种 创新 的 语法 ， 可 在 高 版 本 的 JavaScript 中 提供 ， 其 
也 作为 ECMAScript 2017 发 行 版 的 一 部 分 


我 们 将 看 到 这 些 替 代 方 案 如 何 简化 处 理 蜡 步 控 利 | 流 的 方式 。 最 后 ， 我 们 将 比较 所 有 
这 些 方法 ， 以 了 解 所 有 这 些 方法 的 所 有 优点 和 缺点 ， 并 能 够 明智 地 选择 最 适合 我 们 
下 一 个 Node ,js 项目 要 求 的 方法 。 


Promise 


我 们 在 前 面 的 章节 中 提 到 ， CPS 风 格 不 是 编写 异步 代码 的 唯一 方法 。 事 实 

上 ， JavaScript 生态 系统 为 传统 的 回调 模式 提供 了 有 趣 的 替代 方案 。 最 着 名 的 
选择 之 一 是 Promise ， 特 别 是 现在 它 是 ECMAScript 2015 的 一 部 分 ， 并 且 现 在 
可 以 在 Node,js 中 可 用 。 


什么 是 Promise ? 


Promise 是 一 种 抽象 的 对 象 ， 我 们 通常 允许 函数 返回 一 个 名 为 Promise 的 对 
象 ， 它 表示 异步 操作 的 最 终结 果 。 通 常情 况 下 ， 我 们 说 当 异 步 操 作 尚 未 完成 时 ， 我 
们 说 Promise 对 象 处 于 pending 状态 ， 当 操作 成 功 完 成 时 ， 我 们 说 Promise 对 
象 处 于 resolve 状态 ， 当 操作 错误 终止 时 ， 我 们 说 Promise 对 象 处 

于 reject 状态 。 一 旦 Promise 处 于 resolve 或 reject ， 我 们 认为 当前 异步 
操作 结束 。 

为 了 接收 到 异步 操作 的 正确 结果 或 错误 捕获 ， 我 们 可 以 使 用 Promise 的 then 方 
法 : 


promise.then([onFulfilled], [onRejected]) 


在 前 面 的 代码 中 ， onFulfilled() 是 一 个 函数 ， 最 终 会 收 到 Promise 的 正确 结 
果 ， 而 onRejected() 是 另 一 个 函数 ， 它 将 接收 产生 异常 的 原因 (如果 有 的 
话 ) 。 两 个 参数 都 是 可 选 的 。 


要 了 解 Promise 如 何 转换 我 们 的 代码 ， 让 我 们 考虑 以 下 几 点 : 


asyncOperation(arg, (err, result) => { 
if (err) { 


// 错误 处 理 
下 党 包 更 外 惠 
// 正和 审结 来 处 理 


} 


Promise 允许 我 们 将 这 个 典型 的 CPS 代码 转换 成 更 好 的 结构 化 和 更 优雅 的 代 
码 ， 如 下 所 示 : 


asyncoperation(arg) 
‘then(result => { 
// 错误 处 理 


ene > 


二 ! 党 J 引 里 办 瑶 
// 正 第 结 来 处 理 


}); 


then() 方法 的 一 个 关键 特征 是 它 同步 地 返回 另 一 个 Promise 对 象 。 如 
果 onFulfilled() 或 onRejected() 加 数 中 的 任何 一 个 函数 返回 x ， 
则 then() 方法 返回 的 Promise 对 象 将 如 下 所 示 : 


e@ 如 果 x 是 一 个 值 ， 则 这 个 Promise 对 象 会 正确 处 理 ( resolve ) x 
e@ 如 果 x 是 一 个 Promise 对 象 或 thenable ， 则 会 正确 处 理 ( resolve ) x 
e@ 如 果 x 是 一 个 异常 ， 则 会 捕获 异常 ( reject ) x 


注 : thenable 是 一 个 具有 then 方 法 的 类 似 于 Promise 的 对 象 (Promise-like)。 


这 个 特点 使 我 们 能 够 链 式 构建 Promise ， 人 允许 轻 松 排 列 组 合 我 们 的 异步 操作 。 另 
外 ， 如 果 我 们 没有 指定 一 个 onFulfilled() 或 onRejected() 处 理 程序 ， 则 正 
确 结果 或 异常 捕获 将 自动 转发 到 Promise 链 的 下 一 个 Promise 。 例 如 ， 这 允许 
我 们 在 整个 链 中 自动 传播 错误 ， 直 到 被 onRejected() 处 理 程序 捕获 。 随 

着 Promise 链 ， 任 务 的 顺序 执行 突然 变 成 简单 多 了 : 


asyncOperation(arg) 
.then(result1 => { 
// 返回 为 一 个 Promise 
return asyncOperation(arg2); 
}) 
.then(result2 => { 
// 返回 一 个 值 
returna done 
}) 
‘then(undefined, err => { 
// 捕获 Promise 链 中 所 
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下 图 展示 了 链 式 Promise 如 何 工作 : 


Their return value eventually settles Promise B Their return value eventually settles Promise C Synchronously 
一 一 


onFulfilled() settled onRejected() onFulfilled() settled onRejected() 
[3 
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Promise 的 另 一 个 重要 特性 是 onFulfilled() 和 onRejected() 函数 是 异步 调 
用 的 ， 如 同上 述 的 例子 ， 在 最 后 那个 then 函数 resolve 一 个 同步 

的 Promise ， 它 也 是 同步 的 。 这 种 模式 避免 了 Zalgo 【( 参 

见 chapter2-Node.js Essential Patterns ) ， 使 我 们 的 异步 代码 更 加 一 致 和 
稳健 。 


如 果 在 onFulfilled() 或 onRejected() 处 理 程序 中 抛 出 异常 (使 用 throw 语 
钙 ) ， 则 then() 方法 返回 的 Promise 将 被 自动 地 reject ， 抛 出 异常 作 

为 reject 的 原因 。 这 相对 于 CPS 来 说 是 一 个 巨大 的 优势 ， 因 为 它 意 味 着 有 

了 Promise ， 弄 常 将 在 整个 链 中 自动 传播 ， 并 且 throw 语句 终于 可 以 使 用 。 


在 以 前 ， 许 多 不 同 的 库 实现 了 Promise ， 大 多 数 时 候 它 们 之 间 不 兼容 ， 这 意味 着 
不 可 能 在 使 用 不 同 Promise 库 的 thenable 链 式 传播 错误 。 


JavaScript 社区 非常 努力 地 解决 了 这 个 限制 ， 这 些 努 力 导 致 

了 Promises / A + 。 该 规范 详细 描述 了 then 方法 的 行为 ， 提 供 了 
一 个 可 互 兼容 的 基础 ， 得 来 自 不 同 库 的 Promise 对 象 能 够 彼此 兼容 ， 开 箱 即 
用 。 


有 关 Promises / A + 规范 的 详细 说 明 ， 可 以 参考 Promises /人 + 官方 网 站 。 


Promise /Ad+ 的 实施 


在 JavaScript 中 以 及 Node.js 中 ， 有 几 个 实现 Promises / A + 规范 的 库 。 
以 下 是 最 受 欢 迎 的 : 


Bluebird 

Q 

RSVP 

Vow 

When.js 

ES2015 promises 


牙 正 区 别 他 们 的 是 在 Promises / A + 标准 之 上 提供 的 额外 功能 。 正 如 我 们 上 述 
所 说 的 那样 ， 该 标准 定义 了 then() 方法 和 Promise 解析 过 程 的 行为 ， 但 它 没 有 
指定 其 他 功能 ， 例 如 ， 如 何 从 基于 回调 的 异步 函数 创建 Promise 。 


在 我 们 的 示例 中 ， 我 们 将 使 用 由 ES2015 的 Promise ， 因 为 Promise 对 象 
自 Node.js 4 后 即 可 使 用 ， 而 不 需要 任何 库 来 实现 。 


作为 参考 ， 以 下 是 ES2015 的 Promise 提供 的 API : 


constructor ( new Promise (function (resolve, reject) {人 }) ) :创建 了 
一 个 新 的 Promise ， 它 基于 作为 传递 两 个 类 型 为 函数 的 参数 来 决 
定 resolve 或 reject 。 构 造 函 数 的 参数 解释 如 下 : 


e。 resolve(obj) : resolve 一 个 Promise ， 并 带 上 一 个 参数 obj ， 如 
果 obj 是 一 个 值 ， 这 个 值 就 是 传递 的 异步 操作 成 功 的 结果 。 如 果 obj 是 一 
个 Promise 或 一 个 thenable ， 则 会 进行 正确 处 理 。 

e reject(err) : reject 一 个 Promise ， 并 带 上 一 个 参数 err 。 它 
是 Error 对 象 的 一 个 实例 。 


Promise 对 象 的 静态 方法 


e Promise.resolve(obj) : 将 会 创建 一 个 resolve 的 Promise 实例 
e Promise.reject(err) : 将 会 创建 一 个 reject 的 Promise 实例 
e Promise.all(iterable) : 返回 一 个 新 的 Promise 实例 ， 并 且 
在 iterable 中 所 有 Promise 状态 为 reject 时 , 返回 的 Promise 实例 的 
状态 会 被 置 为 reject ， 如 果 iterable 中 至 少 有 一 个 Promise 状态 
为 reject 时 ,返回 的 Promise 实例 状态 也 会 被 置 为 reject ， 并 
且 reject 的 原因 是 第 一 个 被 reject 的 Promise 对 象 的 reject 原因 。 
e Promise.race(iterable) :返回 一 个 Promise 实例 ， 当 iterable 中 任 
何 一 个 Promise 被 resolve 或 被 reject 时 ， 返 回 的 Promise 实例 以 同 
样 的 原因 resolve 或 reject 。 


Promise 实 例 方 法 


e Promise.then(onFulfilled，onRejected) : 这 是 Promise 的 基本 方 
法 。 它 的 行为 与 我 们 之 前 描述 的 Promises / A + 标准 兼容 。 

e Promise.catch(onRejected) :这 只 
是 Promise.then(undefined，onRejected) 的 语法 糖 。 


值得 一 提 的 是 ， 一 些 Promise 实 现 提供 了 另 一 种 机 制 来 创建 新 的 Promise， 称 为 
deferreds。 我 们 不 会 在 这 里 描述 ， 因 为 它 不 是 ES2015 标 准 的 一 部 分 ， 但 是 如 

果 您 想 了 解 更 多 信息 ， 可 以 阅读 Q 文 档 (https://github.com/kriskowal/q#using- 

deferreds) 或 When.js 文 档 (https://github.com/cujojs/when/wiki/Deferred) 。 


Promisifying 一 个 Node.js 回 调 风格 的 函数 


在 JavaScript 中 ， 并 不 是 所 有 的 异步 函数 和 库 都 支持 开 箱 即 用 的 Promise 。 大 
多 数 情况 下 ， 我 们 必须 将 一 个 典型 的 基于 回调 的 函数 转换 成 一 个 返回 Promise 的 
函数 ， 这 个 过 程 也 被 称 为 promisification 。 


幸运 的 是 ， Node.js 中 使 用 的 回调 约定 允许 我 们 创建 一 个 可 重用 的 函数 ， 我 们 通 
过 使 用 Promise 对 象 的 构造 函数 来 简化 任何 Node.js 风格 的 API 。 让 我 们 创建 
一 个 名 为 promisify() 的 新 函数 ， 并 将 其 包含 到 utilities,js 模块 中 《以 便 稍 
后 在 我 们 的 Web 假 虫 应 用 程序 中 使 用 它 ) 


module.exports.promisify = function(callbackBasedApi) 攻 
return function promisified() { 
const args = [].slice.call(arguments); 
return new Promise((resolve, reject) => { 
args.push((err, result) => { 
if (err) { 
return reject(err); 


if (arguments.length <= 2) { 
resolve(result); 

} else { 
resolve([].slice.call(arguments, 1)); 


} 
bE, 
callbackBasedApi.apply(null, args); 
}0) 


} 
了 


前 面 的 函数 返回 另 一 个 名 为 promisified() 的 函数 ， 它 表示 输入 中 给 出 
的 callbackBasedApi 的 promisified 版 本 。 以 下 展示 它 是 如 何 工作 的 : 


1. promisified() 函数 使 用 Promise 构造 函数 创建 一 个 新 的 Promise 对 
象 ， 并 立即 将 其 返回 给 调用 者 。 
2. 在 传递 给 Promise 构造 函数 的 函数 中 ， 我 们 确保 传递 
给 callbackBasedApi ， 这 是 一 个 特殊 的 回调 函数 。 由 于 我 们 知道 回调 总 是 
最 后 调用 的 ， 我 们 只 需 将 回调 函数 附加 到 提供 给 promisified() 函数 的 参数 
列表 里 ( args ) 。 
3. 在 特殊 的 回调 中 ， 如 果 我 们 收 到 错误 ， 我 们 立即 reject 这 个 Promise 。 
4. 如 果 没 有 收 到 错误 ， 我 们 使 用 一 个 值 或 一 个 数组 值 来 resolve 这 
个 Promise ， 具 体 取 决 于 传递 给 回调 的 结果 数量 。 
5. 最 后 ， 我 们 只 需 使 用 我 们 构建 的 参数 列表 调用 callbackBasedApi 。 


大 部 分 的 Promise 已 经 提供 了 一 个 开 箱 即 用 的 接口 来 将 一 个 Node.js 风 格 的 API 
转换 成 一 个 返回 Promise 的 APl。 例 如 ，Q 有 Q.denodeify() 和 Q.nbind()， 
Bluebird 有 Promise.promisify()， 而 When.js 有 node.lift()。 


顺序 执行 


在 一 些 必 要 的 理论 之 后 ， 我 们 现在 准备 将 我 们 的 Web 尺 虫 应 用 程序 转换 为 使 
用 Promise 的 形式 。 让 我 们 直接 从 版 本 2 开始 ， 直 接 下 载 一 个 Web 网 页 的 链接 。 


在 spider.js 模块 中 ， 第 一 步 是 加 载 我 们 的 Promise 实现 (我 们 稍 后 会 使 用 
它 ) 和 Promisifying 我 们 打算 使 用 的 基于 回调 的 函数 : 


const Utilities = require('./utilities'); 

const reduest = Utilities.promisify(redquire( request ' ) ) ， 
const mkdirp = Utilities.promisify(reduire( mkdirp ))， 
const fs = require('fs'); 

const readFile = utilities.promisify(fs.readFile); 

const writeFile = utilities.promisify(fs.writeFile); 


现在 ， 我 们 开始 更 改 我 们 的 download 区 数 : 


function download(url, filename) { 
console.log( Downloading ${url} ); 
let body; 
return request(url) 
‘then(response => { 
body = response.body; 
return mkdirp(path.dirname(filename)); 


}) 
‘then(() => writeFile(filename, body)) 
.then(() => { 


console.log( Downloaded and saved: $f{url}. ); 
return body; 


jp 


这 里 要 注意 的 到 的 最 重要 的 是 我 们 也 为 readFile() 返回 的 Promise 注册 一 
个 onRejected() 函数 ， 用 来 处 理 一 个 网 页 没有 被 下 载 的 情况 (或 文件 不 存在 )。 
还 有 ， 看 我 们 如 何 使 用 throw 来 传递 onRejected() 函数 中 的 错误 的 。 


既然 我 们 已 经 更 改 我 们 的 spider() 函数 ， 我 们 这 么 修改 它 的 调用 方式 : 


spider(process.argv[2], 1) 
‘then(() => console.log('Download complete')) 
.Ccatch(err => console.1log(err)); 


注意 我 们 是 如 何 第 一 次 使 用 Promise 的 语法 糖 catch 来 处 理 源 自 spider() 又 
数 的 任何 错误 情况 。 如 果 我 们 再 看 看 迄今 为 止 我 们 所 写 的 所 有 代码 ， 那 么 我 们 会 惊 
喜 的 发 现 ， 我 们 没有 包含 任何 错误 传播 逻辑 ， 因 为 我 们 在 使 用 回调 防 数 时 会 被 迫 做 
这 样 的 事情 。 这 显然 是 一 个 巨大 的 优势 ， 因 为 它 极 大 地 减少 了 我 们 代码 中 的 样板 文 
件 以 及 丢失 任何 异步 错误 的 机 会 。 


现在 ， 完 成 我 们 唯一 缺失 的 Web 伶 虫 应 用 程序 的 第 二 版 的 spiderLinks() 有 函数 
我 们 将 在 稍 后 实现 它 。 


顺序 迭代 


到 目前 为 止 ， Web 仆 虫 应 用 程序 代码 库 主 要 是 对 Promise 是 什么 以 及 如 何 使 用 的 
概述 ， 展 示 了 使 用 Promise 实现 顺序 执行 流程 的 简单 性 和 优雅 性 。 但 是 ， 我 们 现 
在 考虑 的 代码 只 涉及 到 一 组 已 知 的 异步 操作 的 执行 。 " 所以， 完成 我 们 对 顺序 执行 流 
程 的 探索 的 缺失 部 分 是 看 我 们 如 何 使 用 Promise 来 实现 和 迭代。 同样 ， 网 络 晓 蛛 第 
二 版 的 spiderLinks() 元 数 也 是 一 个 很 好 的 例子 。 


让 我 们 添加 缺少 的 这 一 块 : 


function spiderLinks(currentUr]1, body, nesting) { 
let promise = Promise.resolve(); 
If (nesting === 0) { 
return promise,; 


const links = utilities.getPageLinks(currentUrl, body); 
links.forEach(1link => { 
promise = promise.then(() => spider(link, nesting - 1)); 


上 局 


return promise; 


为 了 异步 迭代 一 个 网 页 的 全 部 链接 ， 我 们 必须 动态 创建 一 个 Promise 的 迭代 链 。 


1. 首先 ， 我 们 定义 一 个 空 的 Promise ， resolve 为 undefined 。 这 
个 Promise 只 是 用 来 作为 Promise 的 和 迭代 链 的 起 始点 。 

2. 然后 ， 我 们 通过 在 循环 中 调用 链 中 前 一 个 Promise 的 then() 方法 获得 的 新 
的 Promise 来 更 新 Promise 变量 。 这 就 是 我 们 使 用 Promise 的 异步 迭代 模 
区 

这 样 ， 循 环 的 结束 ， promise 变量 会 包含 循环 中 最 后 一 个 then() 返回 

的 Promise 对 象 ， 所 以 它 只 有 当 Promise 的 和 迭代 链 中 全 部 Promise 对 象 

被 resolve 后 才能 被 resolve 。 


注 : 在 最 后 调用 了 这 个 then 方 法 来 resolve 这 个 Promise 对 象 


通过 这 个 ， 我 们 已 使 用 Promise 对 象 重 写 了 我 们 的 Web 伶 虫 应 用 程序 。 我 们 现在 
应 该 可 以 运行 它 了 。 


顺序 迭代 模式 


为 了 总 结 这 个 顺序 执行 的 部 分 ， 让 我 们 提取 一 个 模式 来 依次 遍历 一 组 Promise 


let tasksa= [Ri | 
let promise = Promlise.resolve()， 
tasks.forEach(task => { 
promise = promise.then(() => { 
return task(); 


}); 
/ 

promise.then(() => { 
// 所 有 任务 都 完成 

}); 


使 用 reduce() 方法 来 替代 forEach() 方法 ， 允 许 我 们 写 出 更 为 简洁 的 代码 : 


eeetaskSse = 0 /| 
let promise = tasks.reduce((prev, task) => { 
return prev.then(() => { 
return task(); 


}); 


}, Promise.resolve()); 


promise.then(() => { 
//All tasks completed 


}e))p 


与 往常 一 样 ， 通 过 对 这 种 模式 的 简单 调整 ， 我 们 可 以 将 所 有 任务 的 结果 收集 到 一 个 
数组 中 ， 我 们 可 以 实现 一 个 mapping 算法 ， 或 者 构建 一 个 filter 等 等 。 


上 述 这 个 模式 使 用 循环 动态 地 建立 一 个 链 式 的 Promise 。 
并 行 执行 
另 一 个 适合 用 Promise 的 执行 流程 是 并 行 执 行 流程 。 实 际 上 ， 我 们 需要 做 的 就 是 
使 用 内 置 的 promise.all() 。 这 个 方法 创造 了 另 一 个 Promise 对 象 ， 只 有 在 输 


入 中 的 所 有 Promise 都 resolve 时 才能 resolve 。 这 是 一 个 并 行 执行 ， 因 为 在 
其 参数 Promise 对 象 的 之 间 没 有 执行 顺序 可 言 。 


为 了 演示 这 一 点 ， 我 们 来 看 我 们 的 Web 仆 虫 应 用 程序 的 第 三 版 ， 它 将 页 面 中 的 所 有 
链接 并 行 下 载 。 让 我 们 再 次 使 用 Promise 更 新 spiderLinks() 函数 来 实现 并 行 


流程 : 


function spaderinks(currentuUrl body, nesting) { 
if (nesting === 0) { 
return Promise.resolve(); 


const links = utilities.getPageLinks(currentUrl, body); 
const promises = links.map(link => spider(link, nesting - 1)); 
return Promise.all(promises); 


这 里 的 模式 在 elements.map() 迭代 中 产生 一 个 数组 ， 存 放 所 有 异步 任务 ， 之 后 
便于 同时 启动 spider() 任务 。 这 一 次 ， 在 循环 中 ， 我 们 不 等 待 以 前 的 下 载 完成 ， 
然后 开始 一 个 新 的 下 载 任务 : 所 有 的 下 载 任务 在 一 个 循环 中 一 个 接 一 个 地 开始 。 之 
后 ， 我 们 利用 promise.all() 方法 ， 它 返回 一 个 新 的 Promise 对 象 ， 当 数组 中 
的 所 有 Promise 对 象 都 被 resolve 时 ， 这 个 Promise 对 象 将 被 resolve 。 换 
句 话说， 所 有 的 下 载 任务 完成 ， 这 正 是 我 们 想 要 的 。 


限制 并 行 执行 


不 幸 的 是 ， ES2015 的 Promise API 并 没有 提 信 共 一 种 原 生 的 方式 来 限制 并 发 任务 
的 数量 ， 但 是 我 们 总 是 可 以 依靠 我 们 所 学 到 的 有 关 用 普通 Javascript wa 
发 。 事 实 上 ， 我 们 在 re 类 中 实现 的 模式 可 以 很 容易 地 被 调整 来 支持 返 
承诺 的 任务 。 这 很 容易 通过 修改 next() 方法 来 完成 : 


class TaskQueue { 
constructor(concurrency) { 
this.concurrency = concurrency; 
this.running = 0; 
this.queue = []; 


} 


pushTask(task) { 
this.queue.push(task); 
this.next(); 


} 
next() { 
while (this.running < this.concurrency && this.dqueue.1length) 
{ 
const task = this.dqueue.shift(); 
task().then(() => { 
this.running--; 
this.next(); 
}); 
this.running++; 
} 
} 


不 同 于 使 用 一 个 回调 函数 来 处 理 任务 ， 我 们 简单 地 调用 Promise 的 then() 。 


让 我 们 回 到 spider.js 模块 ， 并 修改 它 以 支持 我 们 的 新 版 本 的 TaskQueue 类 。 
首先 ， 我 们 确保 定义 一 个 TaskQueue 的 新 实例 : 


const TaskQueue = require('./taskQueue'); 
const downloadQueue = new TaskQueue(2); 


然后 ， 是 我 们 的 spiderLinks() 哆 数 。 这 里 的 修改 也 是 很 简单 : 


function spiderLinks(currentUrl, body, nesting) { 
If (nesting === 0) { 
return Promise.resolve(); 


tPageLinks(currentUrl, body); 


const links = ts es.ge 
建 Promise 对 象 
数 : 
{ 


ll 

// 我 们 需要 如 下 代码 ， 用 于 创 
// 如 果 没 有 下 3 | 代码 ， 人 
if (links.length === 0) 
return Promise.resolve(); 


量 为 9 时 | 将 天 永远 不 会 resolve 


} 


return new Promise((resolve, reject) => { 
lJet completed = 

let errored = false; 

links.forEach(1link => { 
let task = () => { 

return spider(link, nesting - 1) 
.then(() => { 
if (++completed === links.length) { 

resolve( ); 


} 


}) 
,Catch(() => { 
If (!errored) { 
errored = true; 
reject(); 


} 
}); 
downloadQueue.pushTask(task); 


}); 
5 
} 


在 上 述 代码 中 有 几 点 值得 我 们 注意 的 
e@ 首先， 我 们 需要 返回 使 用 promise 构造 函数 创建 的 新 的 Promise 对 象 。 正 
如 我 们 将 看 到 的 ， 这 使 我 们 能 够 在 队列 中 的 所 有 任务 完成 时 手动 resolve 我 


们 的 Promise 对 象 。 
。 然后 ， 我 们 应 该 看 看 我 们 如 何 定义 任务 。 我 们 所 做 的 是 将 一 


个 onFulfilled() 回调 函数 的 调用 添加 到 由 spider() 返回 的 Promise 对 
象 中 ， 所 以 我 们 可 以 计算 完成 的 下 载 任务 的 数量 。 当 完成 的 下 载 量 与 当前 页 面 
中 链接 的 数量 相同 时 ， 我 们 知道 任务 已 经 处 理 完毕 ， 所 以 我 们 可 以 调用 外 

部 Promise 的 resolve() 苑 数 。 


Promises / ee 范 规 定 ，then() 方 法 的 onFulfiled() 和 onRejected() 回 调 陈 亲 
能 调用 一 次 ( 仅 调用 onFulfilled() 和 onRejected()) 。Promise 接 口 的 实现 确 ， 
即使 我 们 多 多 次 手动 调用 resolve 或 reject，Promise 也 仅 可 以 被 resolve 或 reject 一 


次 。 


现在 ， 使 用 Promise 的 Web 仆 虫 应 用 程序 的 第 4 版 应 该 已 经 准备 好 了 。 我 们 可 能 
次 注意 到 下 载 任务 如 何 并 行 运行 ， 并 发 数量 限制 为 2 。 


在 公有 APlIl 中 暴露 回调 函数 和 Promise 


正如 我 们 在 前 面 所 学 到 的 ， Promise 可 以 被 用 作 回 调 兄 数 的 一 个 很 好 的 替代 品 。 

它们 使 我 们 的 代码 更 具 可 读 性 和 易于 理解 。 虽 然 Promise 带 来 了 许多 优点 ， 但 也 
要 求 开 发 人 员 理 解 许 多 不 易于 理解 的 概念 ， 以 便 正 确 和 熟练 地 使 用 。 由 于 这 个 原因 

和 其 他 原因 ， 在 某 些 情况 下 ， 比 起 Promise 来 说 ， 很 多 开发 者 更 偏向 于 回调 遂 

数 。 


0 下 ， 我 们 想 要 构建 一 个 执行 异步 操作 的 公共 库 。 我 们 需要 做 什 
么 ?我 们 是 创建 了 一 个 基于 回调 函数 的 API 还 是 一 个 面向 Promise 的 API ?还 
是 两 者 均 有 ? 


这 是 许多 知名 的 库 所 面临 的 问题 ， 至 少 有 两 种 方法 值得 一 提 ， 使 我 们 能 够 提供 一 个 
多 功能 的 API 。 


像 request ， redis 和 mysql 这 样 的 库 所 使 用 的 第 一 种 方法 是 提供 一 个 简单 的 
基于 回调 函数 的 API ， 如 果 需 要 ， 开 发 人 员 可 以 选择 公开 函数 。 其 中 一 些 库 提供 
工具 函数 来 Promise 化 异步 回调 ， 但 开发 人 员 仍 然 需要 以 某 种 方式 将 暴露 

的 API 转换 为 能 够 使 用 Promise 对 象 。 


第 二 种 方法 更 透明 。 它 还 提供 了 一 个 面向 回调 的 API ， 但 它 使 回调 参数 可 选 。 每 
妆 回 调 作为 参数 传递 时 ， 函 数 将 正常 运行 ， 在 完成 时 或 失败 时 执行 回调 。 当 回调 未 
被 传递 时 ， 函 数 将 立即 返回 一 个 Promise 对 象 。 这 种 方法 有 效 地 结合 了 回调 亟 数 
和 promise ， 使 得 开发 者 可 以 在 调用 时 选择 采用 什么 接口 ， 而 不 需要 提前 进 
行 Promise 化 。 许 多 库 ， 如 mongoose 和 sequelize ， 都 支持 这 种 方法 。 


我 们 来 看 一 个 简单 的 例子 。 假 设 我 们 要 实现 一 个 异步 执行 除法 的 模块 : 


module.exports = function asyncDivision(dividend, divisor, cb) { 
return new Promise((resolve, reject) => { // [i] 
process.nextTick(() => { 
const result = dividend / divisor; 
if (isNaN(result) || !Number.isFinite(result)) { 
const error = new Error('Invalid operands'); 
if (cb) £ 
cb(error); // [2] 
} 


return reject(error); 


} 
If (cb) { 
CbkiUnlsaiesuittyD AIESi 


resolve(result); 


}); 
}); 


日 
x 


该 模块 的 代码 非常 简单 ， 但 是 有 一 导 强 调 的 细节 : 


@ 首先 ， 返 回 使 用 promise 的 构造 函数 创建 的 新 承诺 。 我 们 在 构造 函数 和 参数 逊 
数 内 定义 全 部 逻辑 。 

e 在 发 生 错 误 的 情况 下 ， 我 们 reject 这 个 Promise ， 但 如 果 回 调 函 数 在 被 调 
用 时 作为 参数 传递 ， 我 们 也 执行 回调 来 进行 错误 传播 。 

e@ 在 计算 结果 之 后 ， 我 们 resolve 了 这 个 Promise ， 但 是 如 果 有 回调 函数 ， 
我 们 也 会 将 结果 传播 给 回调 函数 。 


我 们 现在 看 如 何 用 回调 函数 和 promise 来 使 用 这 个 模块 : 


// 回调 函数 的 方式 
asyncDivision(10, 2, (error, result) => { 
if (error) { 
return console.error(error); 


console.log(resuilt); 


}); 


// Promise 化 的 调用 方式 

asyncDivision(22, 11) 
.then(result => console.log(result)) 
.Catch(error => console.error(error)); 


应 该 很 清楚 的 是 ， 即 将 开始 使 用 类 似 于 上 述 的 新 模块 的 开发 人 员 将 很 容易 地 选择 最 
适合 自 己 需求 的 风格 ， 而 无 需 在 希望 利用 Promise 时 引入 外 
promisification 功能 。 


本 


Generators 


ES2615 规范 引入 了 另外 一 余 了 其 他 新 功能 外 ， 还 可 以 用 来 简 

化 Node.js 应 用 程序 的 异步 控制 流程 。 我 们 正在 谈论 Generator ， 也 被 称 

为 semi-coroutines 。 它 们 是 子 程序 的 一 般 化 ， 可 以 有 不 同 的 入 口 点 。 在 一 个 正 
常 的 函数 中 ， 实 际 上 我 们 只 能 有 一 个 入 口 点 ， 这 个 入 口 点 对 应 着 函数 本 身 的 调 

用 。 Generator 与 一 般 部 数 类 似 ， 但 是 可 以 暂停 (使 用 yield 语句 ) ， 然 后 在 
稍 后 继续 执行 。 在 实现 迭代 器 时 ， Generator 特别 有 用 ， 因 为 我 们 已 经 讨论 了 如 
何 使 用 迭代 器 来 实现 重要 的 异步 控制 流 模 式 ， 如 顺序 执行 和 限制 并 行 执 行 。 


Generators 基 础 


在 我 们 探索 使 用 Generator 来 实现 异步 控 第 | 流程 之 前 ， 学 习 一 些 基本 概念 是 很 重 
要 的 。 我 们 从 语法 开始 吧 。 可 以 通过 在 函数 关键 字 之 后 附加 * ( 星 号 ) 运算 符 来 
声明 Generator 函数 : 


function* makeGenerator() { 
Dogy 


} 


在 makeGenerator() 函数 内 部 ， 我 们 可 以 使 用 关键 字 yield 暂停 执行 并 返回 给 
调用 者 传递 给 它 的 值 : 


function* makeGenerator() { 
yield 'Hello World'; 
console.log('Re-entered'); 


} 


在 前 面 的 代码 中 ， Generator 通过 yield 一 个 字符 串 Hello World 暂停 当前 
函数 的 执行 。 当 Generator 恢复 时 ， 执 行将 从 下 列 语句 开始 : 


console.log('Re-entered' ); 


makeGenerator() 函数 本 质 上 是 一 个 工厂 ， 它 在 被 调用 时 返回 一 个 新 
的 Generator 对 疹 : 


const gen = makeGenerator(); 


生成 器 对 象 的 最 重要 的 方法 是 next() ， 它 用 于 启动 /恢复 Generator 的 执行 ， 
并 返回 如 下 形式 的 对 象 : 


{ 


Value: <yielded value> 
done: <true if the execution reached the end> 


} 


这 个 对 象 包含 Generator yield 的 值 和 一 个 指示 Generator 是 否 已 经 完成 执 
行 的 符号 。 


个 简单 的 例子 


为 了 演示 Generator ， 我 们 来 创建 一 个 名 为 fruitGenerator.js 的 新 模块 : 


funetlion fruatGenerartorn() 
yield 'apple'; 
yield 'orange'; 
return 'watermelon'; 


} 
const newFruitGenerator = Ee 
console.log(newFruitGenerator.next()); 中 可 
console.log(newFruitGenerator.next()); // Be 

[3] 


/ 


console.log(newFruitGenerator.next()); // 


前 面 的 代码 将 打印 下 面 的 输出 : 


{ value: 'apple', done: false } 
{ value: 'orange', done: false } 
{ value: 'watermelon', done: true } 


我 们 可 以 这 么 解释 上 述 现象 : 

e。 第 一 次 调用 newFruitGenerator. es 时 ， Generator 函数 开始 执行 ， 
直到 达到 第 一 个 yield 语句 为 止 ， 该 命令 暂停 Generator 函数 执行 ， 并 将 
值 apple 返回 给 调用 者 。 

@ 在 第 二 次 调用 newFruitGenerator .next() 时 ， Generator 函数 ， 恢复 执 
行 ， 从 第 二 个 yield 语句 开始 ， 这 又 使 得 执行 暂停 ， 同 时 将 orange 返回 给 
调用 者 。 

e newFruitGenerator.next() 的 最 后 一 次 调用 导致 Generator 有 函数 的 执行 
从 其 最 后 的 yield 恢复 ， 一 个 返回 语句 ， 它 终止 Generator 函数 ， 返 
回 watermelon ， 并 将 结果 对 象 中 的 done 属性 设置 为 true 。 


Generators 作 为 迭代 器 


为 了 更 好 地 理解 为 什么 Generator 有 也 数 对 实现 迁 代 器 非常 有 有 用， 我们 来 构建 一 个 
例子 。 在 我 们 将 调用 iteratorGenerator .js 的 新 模块 中 ， 我 们 编写 下 面 的 代 
码 : 


function* iteratorGenerator(arr) { 
for (let i = 0; i < arr.length; i++) { 
yield arr[i]; 


} 
const iterator = iteratorGenerator(['apple', 'orange', 'watermel 
on']); 
let currentItem = iterator.next(); 
while (!currentItem.done) { 
console.log(currentItem.value); 
currentItem = iterator.next(); 


} 


此 代码 应 按 如 下 所 示 打 印 数组 中 的 元 素 : 


apple 
orange 
watermelon 


在 这 个 例子 中 ， 每 次 我 们 调用 iterator.next() 时 ， 我 们 都 会 恢 
复 Generator 函数 的 for 循环 ， 通 过 yield 数组 中 的 下 一 个 项 来 运行 另 一 个 循 
环 。 这 演示 了 如 何在 函数 调用 过 程 中 维护 Generator 的 状态 。 当 继续 执行 时 ， 循 
环 和 所 有 变量 的 值 与 Generator 元 数 执行 暂停 时 的 状态 完全 相同 。 


传 值 给 Generators 


现在 我 们 继续 研究 Generator 的 基本 功能 ， 首 先 学 习 如 何 将 值 传递 
回 Generator 函数 。 这 其 实 很 简单 ， 我 们 需要 做 的 只 是 为 next() 方法 提供 一 个 
参数 ， 并 且 该 值 将 作为 Generator 函数 内 的 yield 语句 的 返回 值 提 供 。 


为 了 展示 这 一 点 ， 我 们 来 创建 一 个 新 的 简单 模块 : 
function* twowayGenerator() { 
const what = yield null; 
console.log('Hello ' + what); 
const twoway = twowWayGenerator(); 


twoway ,next( ); 
twoway ,next( wor1d )，; 


当 执 行 时 ， 前 面 的 代码 会 输出 Hello world 。 我 们 做 如 下 的 解释 : 


e@ 第 一 次 调用 next() 方法 时 ， Generator 函数 到 达 第 一 个 yield 语句 ， 然 
后 暂停 。 

e 当 next('world') 被 调用 时 ， Generator 函数 从 上 次 停止 的 位 置 ， 也 就 是 
上 次 的 yield 语句 点 恢复 ， ”但 是 这 次 我 们 有 一 个 值 传递 到 Generator 蔬 
数 。 这 个 值 将 被 赋值 到 what 变量 。 生 成 器 然后 执行 console.1og() 指令 并 

终止 。 


用 类 似 的 方式 ， 我 们 可 以 强制 Generator 函数 抛 出 异常 。 这 可 以 通过 使 
用 Generator 遂 数 的 throw 方法 来 实现 ， 如 下 例 所 示 : 


const twoway = twowWayGenerator () ， 
twoway ,next() 
twoway.throw(new Error()); 


人 
出 异常 。 这 就 好 像 从 Generator 有 函数 内 部 抛 出 了 一 个 异常 一 样 ， 这 意味 着 它 可 以 
像 使 用 try ... catch 块 一 样 进行 捕获 和 处 理 异 常 。 


Generator 实 现 异 步 控制 流 


你 一 定 想 知道 Generator 子 数 如 何 帮助 我 们 处 理 异 步 操 作 。 我 们 可 以 通过 创建 一 
个 接受 Generator 函数 作为 参数 的 特殊 函数 来 演示 这 一 点 ， 并 允许 我 们 

在 本 人 全 汉 到 门 部 使 用 开 步 代码 。 这 个 函数 在 异步 操作 完成 时 要 注意 恢 

复 Generator 函数 的 执行 。 我 们 将 调用 这 个 函数 asyncFlow() 


function asyncFlow(generatorFunction) { 
function callback(err) { 
if (err) { 
return generator.throw(err); 


} 


const results = [].slice.call(arguments, 1); 
generator.next(results.length > 1 ? results : results[0]); 


} 


const generator = generatorFunction(callback); 
generator .next() ， 


} 
前 面 的 函数 取 一 个 Generator 遂 数 作为 输入 ， 然 后 立即 调用 : 


const generator = generatorFunction(callback); 
generator .next(); 


generatorFunction() 接受 一 个 特殊 的 回调 函数 作为 参数 ， 
当 generator.throw() 如 果 接 收 到 一 个 错误 ， 便 立即 返回 。 另 外 ， 通 过 将 在 回调 
总 数 中 接收 的 results 传 值 回 Generator 函数 继续 Generator 函数 的 执行 


If (err) { 
return generator .throw(err ) ， 


} 


const results = [].slice.call(arguments, 1); 
generator.next(results.length > 1 ? results : results[0]); 


为 了 说 明 这 个 简单 的 辅助 函数 的 强大 ， 我 们 创建 一 个 叫做 clone.js 的 新 模块 ， 这 
个 模块 只 是 创建 它 本 身 的 克隆 。 粘 贴 我 们 刚才 创建 的 asyncFlLow() 函数 ， 核 心 代 
码 如 下 : 


const fs = require('fs'); 

const path = require('path ' ) ， 

asyncFlow(function*(callback) { 
const fileName = path.basename( filename ) ， 
const myself = yield fs.readFile(fileName, 'utf8', callback); 
yield fs.writeFile( clone of _ ${filename} , myself, callback); 
console.log('Clone created'); 


}); 


明显 地 ， 有 了 asyncFlow() 元 数 的 帮助 ， 我 们 可 以 像 我 们 书写 同步 阻塞 函数 一 样 
用 同步 的 方式 来 书写 异步 代码 了 。 并 且 这 个 结果 背后 的 原理 显得 很 清楚 。 一 旦 异步 
操作 结束 ， 传 递 给 每 个 异步 吕 数 的 回调 函数 将 继续 Generator 函数 的 执行 。 没 有 
什么 复杂 的 ， 但 是 结果 确实 很 令 人 意外 。 


这 个 技术 有 其 他 两 个 变化 ， 一 个 是 Promise 的 使 用 ， 另 外 一 个 则 是 thunks 。 


在 基于 Generator 的 控制 流 中 使 用 的 thunk 只 是 一 个 简单 的 函数 ， 它 除了 回调 之 
外 ， 部 分 地 应 用 了 原始 函数 的 所 有 参数 。 返 回 值 是 另 一 个 只 接受 回调 作为 参数 
的 函数 。 例 如 ，fs.readFile () 的 thunkified 版 本 如 下 所 示 : 


function readFileThunk(filename, options) { 
return function(callback) { 
fs.readFile(filename, options, callback); 
} 
} 


thunk 和 Promise 都 允许 我 们 创建 不 需要 回调 的 Generator 函数 作为 参数 传 
递 ， 例 如 ， 使 用 thunk 的 asyncFlow() 版 本 如 下 


function asyncFlowwWithThunks(generatorFunction) { 
functronmneallback(err ed 
if (err) { 
return generator.throw(err); 
} 


const results = [|].slice.call(arguments, 1); 
const thunk = generator.next(results.length > 1 ? results : 
results[0]).value; 
thunk && thunk(callback); 
} 


const generator = generatorFunction(); 
const thunk = generator.next().value; 
thunk && thunk(callback); 


这 个 技巧 是 读 取 generator .next() 的 返回 值 ， 返回 值 中 包含 thunk 。 下 一 步 是 
通过 注入 特殊 的 回调 函数 调用 thunk 本 身 。 这 允许 我 们 写 下 面 的 代码 : 


asyncFlowwithThunk(function*() { 
const fileName = path.basename( filename ) ， 
const myself = yield readFileThunk(_ filename， "utf8  ) ， 
yield writeFileThunk( clone of ${fileName} , myself); 
console.log("Clone created") 


}); 


使 用 co 的 基于 Gernator 的 控制 流 


你 应 该 已 经 猜 到 了 ， Node ,js 生态 系统 会 借助 Generator 函数 来 提供 一 些 处 理 
异步 控制 流 的 解决 方案 ， 例 如 ，suspend 是 其 中 一 个 最 老 的 支 

持 Promise 、 thunks 和 Node.js 风格 回调 函数 和 正常 风格 的 回调 函数 的 库 。 
还 有 ， 大 部 分 我 们 之 前 分 析 的 Promise 库 都 提供 工具 函数 使 

得 Generator 和 Promise 可 以 一 起 使 用 。 


我 们 选择 co 作为 本 章节 的 例子 。 它 支持 很 多 类 型 的 yieldables ， 其 中 一 些 是 : 


Thunks 

Promises 

Arrays (并 行 执行 ) 
Objects (并 行 执行 ) 
Generators (委托 ) 
Generator 函数 (委托 ) 


还 有 很 多 框架 或 库 是 基于 co 生态 系统 的 ， 包 括 以 下 一 些 : 


e@ Web 框架 ， 最 流行 的 是 koa 
e。 实现 特定 控制 流 模式 的 库 
e@ 包装 流行 的 API 兼容 co 的 库 


我 们 使 用 co 重新 实现 我 们 的 Generator 版 本 的 Web 假 虫 应 用 程序 。 


为 了 将 Node.js 风格 的 函数 转换 成 thunks ， 我 们 将 会 使 用 一 个 叫做 thunkify 的 
库 O 


顺序 执行 


让 我 们 通过 修改 Web 假 虫 应 用 程序 的 版 本 2 开始 我 们 对 Generator 函数 和 co 的 
实际 探索 。 我 们 要 做 的 第 一 件 事 就 是 加 载 我 们 的 依赖 包 ， 并 生成 我 们 要 使 用 的 函数 
的 thunkified 版 本 。 这 些 将 在 spider.js 模块 的 最 开始 进行 : 


const thunkify = require('thunkify ' ) ， 

const co = require('co'); 

const request = thunkify(reduire( request ' ) ) ， 
const fs = require('fs'); 

const mkdirp = thunkify(require( mkdirp ))， 
const readFile = thunkify(fs.readFile); 

const writeFlile = thunkify(fs.writeFile)， 
const nextTick = thunkify(process.nextTick); 


看 上 述 代 码 ， 我 们 可 以 注意 到 与 本 章 前 面 promisify 化 的 API 的 代码 的 一 些 相 
似 之 处 。 在 这 一 点 上 ， 有 意思 的 是 ， 如 果 我 们 使 用 我 们 的 promisified 版 本 的 函 
数 来 代替 thunkified 的 版 本 ， 代 码 将 保持 完全 一 样 ， 这 要 归功 于 co 支 

持 thunk 和 Promise 对 象 作 为 yieldable 对 象 。 事 实 上 ， 如 果 我 们 想 ， 其 至 可 
以 在 同一 个 应 用 程序 中 使 用 thunk 和 Promise ， 即 使 在 同一 个 Generator 函数 
中 。 就 灵活 性 而 言 ， 这 是 一 个 巨大 的 优势 ， 因 为 它 使 我 们 能 够 使 用 基 

于 Generator 函数 的 控制 流 来 解决 我 们 应 用 程序 中 的 问题 。 


好 的 ， 现 在 让 我 们 开始 将 download() 函数 转换 为 一 个 Generator 函数 : 


function* download(url, filename) { 
console.log( Downloading $f{url}. ); 
const response = yield request(ur]1); 
const body = response[1]; 
yield mkdirp(path.dirname(filename)); 
yield writeFile(filename, body); 
console.log( Downloaded and saved ${url}  ); 
return body; 


通过 使 用 Generator 和 co ， 我 们 的 download() 函数 变 得 简单 多 了 。 当 我 们 需 
要 做 异步 操作 的 时 候 ， 我 们 使 用 异步 的 Generator 函数 作为 thunk 来 把 之 前 的 
内 容 转 化 到 Generator 函数 ， 并 使 用 yield 子 句 。 


然后 我 们 开始 实现 我 们 的 spider() 函数 : 


function” spider(url nesting) 
cost filename = utilities.urlToFilename(ur1l); 
Jet body; 


BN 
body = yield readFile(filename, 'utf8'); 
} catch (err) { 
if (err.code !== 'ENOENT') { 
throw err; 


} 
body = yield download(url, filename); 


yield spiderLinks(url, body, nesting); 


从 上 述 代码 中 一 个 有 趣 的 细节 是 我 们 可 以 使 用 try...catch 语句 抉 来 处 理 异 常 。 
我 们 还 可 以 使 用 throw 来 传播 异常 。 另 外 一 个 细节 是 我 们 yield 我 们 

的 download() 有 函数， 而 这 个 函数 既 不 是 一 个 thunk ， 也 不 是 一 

个 promisified 部 数 ， 只 是 另外 的 一 个 Generator 函数 。 这 也 毫 无 问题 ， 由 
于 co 也 支持 其 他 Generators 作为 yieldables 。 


最 后 转换 spiderLinks() ， 在 这 个 函数 中 ， 我 们 递归 下 载 一 个 网 页 的 链接 。 在 这 
个 函数 中 使 用 Generators ， 显 得 简单 多 了 : 


function* spiderLinks(currentUrl, body, nesting) { 
if (nesting === 0) { 
return nextTick(); 


const links = utilities.getPageLinks(currentUrl, body); 
for (let i = 0; i < links.length; i++) { 
yield spider(links[i], nesting - 1); 


看 上 述 代 码 。 虽 然 顺序 迭代 没有 什么 模式 可 以 展示 。 Generator 和 co 辅助 我 们 
做 了 和 很多， 方便 了 我 们 可 以 使 用 同步 方式 开 书 写 异 步 代 码 。 


看 最 重要 的 部 分 ， 程 序 的 入 口 : 


co(function*() { 
try { 
yield spider(process.argv[2], 1); 
console.log( Download complete ); 
} catch (err) { 
console.log(err); 


} 
}); 


这 是 唯一 一 处 需要 调用 co(,..) 来 封装 的 一 个 Generator 。 实 际 上 ， 一 旦 我 们 
这 么 做 ， co 会 自动 封装 我 们 传递 给 yield 语句 的 任何 Generator 函数 ， 并 且 
这 个 过 程 是 递归 的 ， 所 以 程序 的 剩余 部 分 与 我 们 是 否 使 用 co 是 完全 无 关 的 ， 虽 然 
是 被 co 封装 在 里 面 。 


现在 应 该 可 以 运行 使 用 Generator 函数 改写 的 Web 假 虫 应 用 程序 了 。 
并 行 执行 


不 幸 的 是 ， 虽 然 Generator 很 方便 地 进行 顺序 执行 ， 但 是 不 能 直接 用 来 并 行 化 执 
行 一 组 任务 ， 至 少 不 能 仅仅 使 用 yield 和 Generator 。 之 前 ， 在 种 情况 下 我 们 
使 用 的 模式 只 是 简单 地 依赖 于 一 个 基于 回调 或 者 Promise 的 函数 ， 但 使 用 

了 Generator 函数 后 ， 一 切 会 显得 更 简单 。 


幸运 的 是 ， 如 果 不 限 制 并 发 数 的 并 行 执行 ， co 已 经 可 以 通过 yield 一 

个 Promise 对 象 、 thunk 、 Generator 函数 ， 甚 至 包含 Generator 函数 的 数 
组 来 实现 。 

考虑 到 这 一 点 ， 我 们 的 Web 人 想 贝 应 用 程序 第 三 版 可 以 通过 重 写 spiderLinks() 艺 
数 来 做 如 下 改动 : 


function* spiderLinks(currentUrl, body, nesting) { 
If (nesting === 0) { 
return nextTick(); 


const links 
const tasks 
yield tasks; 


utilities.getPageLinks(currentUrl, body); 
links.map(link => spider(link, nesting - 1)); 


但 是 上 述 函 数 所 做 的 只 是 拿 到 所 有 的 任务 ， 这 些 任务 本 质 上 都 是 通 

过 Generator 函数 来 实现 异步 的 ， 如 果 在 co 的 thunk 内 对 一 个 包 

含 Generator 函数 的 数组 使 用 yield ， 这 些 任务 都 会 并 行 执行 。 外 层 

的 Generator 函数 会 等 到 yield 子 句 的 所 有 异步 任务 并 行 执 行 后 再 继续 执行 。 


接 下 来 我 们 看 怎么 用 一 个 基于 回调 函数 的 方式 来 解决 相同 的 并 行 流 。 我 们 用 这 种 方 
式 重 写 spiderLinks() 函数 : 


function spiderinks(currentuUrl body, nesting) { 
if (nesting === 0) { 
return nextTick(); 


} 
UK 
return callback => { 
let completed = 0, 
hasErrors = false; 
const links = utilities.getPageLinks(currentUrl, body); 
if (links.length === 0) { 
return process.nextTick(callback); 
} 


function done(err, result) { 
If (err && !hasErrors) { 
hasErrors = true; 
return callback(err); 


} 
If (++completed === links.length && !hasErrors) { 
callback(); 


for (let i = 0; i < links.length; i++) { 
co(spider(links[i], nesting - 1)).then(done); 


我 们 使 用 co 并 行 运行 spider() 函数 ， 调 用 Generator 函数 返回 了 一 

个 Promise 对 象 。 这 样 ， 等 待 promise 完成 后 调用 done() 函数 。 通 常 ， 基 
于 Generator 控制 流 的 库 都 有 这 一 功能 ， 因 此 如 果 需 要 ， 你 总 是 可 以 将 一 

个 Generator 转换 成 一 个 基于 回调 或 基于 Promise 的 函数 。 


为 了 并 行 开启 多 个 下 载 任 务 ， 我 们 只 要 重用 在 前 面 定 义 的 基于 回调 的 并 行 执 行 的 模 
式 。 我 们 应 该 也 注意 到 我 们 将 spiderLinks() 转换 成 一 个 thunk (而 不 再 是 一 
个 Generator 元 数 )。 这 使 得 当 全 部 并 行 任务 完成 时 ， 我 们 有 一 个 回调 函数 可 以 调 
用 。 


上 面 讲 到 的 是 将 一 个 Generator 函 数 转 换 为 一 个 thunk 的 模式 ， 使 之 能 够 支持 其 
他 的 基于 回调 或 基于 Promise 的 控制 流 算法 ， 并 可 以 通过 同步 阻塞 的 代码 风格 
书写 异步 代码 。 
限制 并 行 执 行 
现在 我 们 知道 如 何 处 理 异步 执行 流程 ， 应 该 很 容易 规划 我 们 的 Web 有 中 应 用 程序 的 
第 四 版 的 实现 ， 这 个 版 本 对 并 发 下 载 任务 的 数量 施加 了 限制 。 我 们 有 几 个 方案 可 以 
用 来 做 到 这 一 点 。 其 中 一 些 方案 如 下 : 


@ 使 用 先前 实现 的 基于 回调 的 TaskQueue 类 。 我 们 只 需要 thunkify 我 们 


的 Generator 函数 和 其 提供 的 回调 函数 即 可 。 
@ 使 用 基于 Promise 的 TaskQueue 类 ， 并 确保 每 个 作为 任务 
的 Generator 函数 都 被 转换 成 一 个 返回 Promise 对 象 的 函数 。 
e 使 用 async ， thunkify 我 们 打算 使 用 的 工具 函数 ， 此 外 还 需要 把 我 们 用 到 
的 Generator 函数 转化 为 基于 回调 的 模式 ， 以 便于 能 够 被 这 个 库 较 好 地 使 
用 。 
@ 使 用 基于 co 的 生态 系统 中 的 库 ， 特 别 是 专门 为 这 种 场景 的 库 ， 如 co-limiter。 
@ 实现 基于 生产 者 -消费 者 模型 的 自 定 义 算 法 ， 这 与 co-limiter 的 内 部 实现 原 
理 相 同 。 


为 了 学 习 ， 我 们 选择 最 后 一 个 方案 ， 甚 至 帮助 我 们 可 以 更 好 地 理解 一 种 经 常 与 协 程 
(也 和 线程 和 进程 ) 同 步 相关 的 模式 。 
生产 者 - 消费 者 模式 


我 们 的 目标 是 利用 队列 来 提供 固定 数量 的 workers ， 与 我 们 想 要 设置 的 并 发 级 别 
一 样 多 。 为 了 实现 这 个 算法 ， 我 们 将 基于 本 章 前 面 定义 的 TaskQueue 类 改写 : 


class TaskQueue { 
constructor(concurrency) { 
this.concurrency = concurrency; 
this.running = 0; 
this.taskQueue = []; 
this.consumerQueue = []; 
this.spawnWorkers(concurrency); 


} 
pushTask(task) { 


If (this.consumerQueue.length !== 0) { 
this.consumerQueue.shift()(null, task); 
} else { 
this.taskQueue.push(task); 
} 
} 


spawnWorkers(concurrency) { 
const self = this; 
for (let i = 0; i < concurrency; i++) { 
eo(function’ (Dt 
while (true) { 
const task = yield self.nextTask(); 
yield task; 
} 
}); 
} 


nextTask() { 
return callback => { 
If (this.taskQueue.length !== 0) { 
return callback(null, this.taskQueue.shift()); 
} 


this.consumerQueue.push(callback); 
} 
} 
} 


让 我 们 分 析 这 个 TaskQueue 类 的 新 实现 。 首 先是 在 构造 函数 中 。 需 要 调用 一 
次 this.,spawnWorkers() ， 因 为 这 是 启动 worker 的 方法 。 


我 们 的 worker 很 简单 ， 它 们 只 是 用 co() 包装 的 立即 执行 的 Generator 函数 ， 
所 以 每 个 Generator 函数 可 以 并 行 执行 。 在 内 部 ， 每 个 worker 正在 运行 在 一 个 
死 循环 ( while(true){} ) 中 ， 一 直 阻 塞 〈( yield ) 到 新 任务 在 队列 中 可 用 时 
( yield self.nextTask() ) ， 一 旦 可 以 执行 新 任务 ， yield 这 个 异步 任务 直 
到 其 完成 。 您 可 能 想 知 道 我 们 如 何 能 够 限制 并 行 执行 ， 并 让 下 一 个 任务 在 队列 中 处 
于 等 待 状态 。 答 案 是 在 nextTask() 方法 中 。 我 们 来 详细 地 看 看 在 这 个 方法 的 原 
理 : 


nextTask() { 
return callback => { 
if (this.taskQueue.length !== 0) { 
return callback(null, this.taskQueue.shift()); 
} 


this.consumerQueue.push(callback ); 
} 
} 


我 们 看 这 个 函数 内 部 发 生 了 什么 ， 这 才 是 这 个 模式 的 核心 : 


1. 这 个 方法 返回 一 个 对 于 co 而 言 是 一 个 合法 的 yieldable 的 thunk 。 

2. 只 要 taskQueue 类 生成 的 实例 中 还 有 下 一 个 任务 ， thunk 的 回调 函数 会 被 
立即 调用 。 回 调 函 数 调用 时 ， 立 马 解锁 一 个 worker 的 阻塞 状态 ， yield 这 
Ws 

3. 如 果 队 列 中 没有 任务 了 ， 回 调 函 数 本 身 会 被 放 入 consumerQueue 中 。 通 过 这 
种 做 法 ， 我 们 将 一 个 worker 置 于 空闲 ( idle ) 的 模式 。 一 旦 我 们 有 一 个 
新 的 任务 来 要 处 理 ， 在 consumerQueue 队列 中 的 回调 函数 会 被 调用 ， 立 马 唤 
醒 我 们 这 一 worker 进行 异步 处 理 。 


现在 ， 为 了 理解 consumerQueue 队列 中 的 空闲 worker 是 如 何 恢复 工作 的 ， 我 们 
需要 分 析 pushTask() 方法 。 。 如 果 当 前 有 回调 函数 可 用 的 话 ， pushTask() 方法 
将 调用 consumerQueue 队列 中 的 第 一 个 回调 函数 ， 从 而 将 取消 对 worker 的 锁 
定 。 如 果 没 有 可 用 的 回调 函数 ， 这 意味 着 所 有 的 worker 都 是 工作 状态 ， 只 需要 添 
加 一 个 新 的 任务 到 taskQueue 任务 队列 中 。 


在 TaskQueue 类 中 ， worker 充当 消费 者 的 角色 ， 而 调用 pushTask() 函数 的 

角色 可 以 被 认为 是 生产 者 。 这 个 模式 向 我 们 展示 了 一 个 Generator 函数 实际 上 可 
以 跟 一 个 线程 或 进程 类 似 。 实 际 上 ， 生 产 者 - 消费 者 之 间 问 题 是 研究 进程 间 通 信和 
同步 时 最 常见 的 问题 ， 但 正如 我 们 已 经 提 到 的 那样 ， 它 对 于 进程 和 线程 来 说 ， 也 是 
一 个 常见 的 例子 。 


限制 下 载 任务 的 并 发 量 


既然 我 们 已 经 使 用 Generator 函数 和 生产 者 - 消费 者 模型 实现 一 个 限制 并 行 算 
法 ， 并 且 已 经 在 Web 仆 虫 应 用 程序 第 四 版 应 用 它 来 限制 中 下 载 任 务 的 并 发 数 。 首 
先 ， 我 们 加 载 和 初始 化 一 个 TaskQueue 对 象 : 


const TaskQueue = regquire('./taskQueue'); 
const downloadQueue = new TaskQueue(2); 


然后 ， 修 改 spiderLinks() 函数 。 和 之 前 不 限制 并 发 的 版 本 类 似 ， 所 以 这 里 我 们 
只 展示 修改 的 部 分 ， 主 要 是 通过 调用 新 版 本 的 TaskQueue 类 生成 的 实例 
的 pushTask() 方法 来 限制 并 行 执行 


function spiderLinks(currentUrl, body, nesting) { 
X J 
return (callback) => { 
J 
function done(err, result) { 
/A 


} 
links.forEach(function(1link) { 
downloadQueue.pushTask(function*() { 
yield spider(link, nesting - 1); 
done( ); 
}); 
}); 


在 每 个 任务 中 ， 我 们 在 下 载 完成 后 立即 调用 done() 函数 ， 因 此 我 们 可 以 计算 下 载 
了 多 少 个 链接 ， 然 后 在 完成 下 载 时 通知 thunk 的 回调 函数 执行 。 


配合 Babel 使 用 Async await 新 语法 


回调 函数 、 Promise 和 Generator 函数 都 是 用 于 处 

理 JavaScript 和 Node.js 异步 问题 的 方式 。 正 如 我 们 所 看 到 

的 ， Generator 的 趴 正 意 义 在 于 它 提 供 了 一 种 方式 来 暂停 一 个 函数 的 执行 ， 然 后 
等 待 前 面 的 任务 完成 后 再 继续 执行 。 我 们 可 以 使 用 这 样 的 特性 来 书写 异步 代码 ， 并 
且 让 开发 者 用 同步 阻塞 的 代码 风格 来 书写 异步 代码 。 等 到 异步 操作 的 结果 返回 后 才 
恢复 当前 函数 的 执行 。 


但 Generator 遂 数 是 更 多 的 是 用 来 处 理 近 代 器 ， 然 而 迭代 器 在 异步 代码 的 使 用 显 
得 有 点 策 重 。 代 码 可 能 难以 理解 ， 导 致 代码 易 读 性 和 可 维护 性 差 。 


但 在 不 远 的 将 来 会 有 一 种 更 加 简洁 的 语法 。 实 际 上 ， 这 个 提议 即将 引入 
到 ESMASCript 2017 的 规范 中 ， 这 项 规范 定义 了 async 函数 语法 。 


async 函数 规范 引入 两 个 关键 字 ( async 和 await ) 到 原生 的 JavaScript 语言 
中 ， 改 进 我 们 书写 异步 代码 的 方式 。 


为 了 理解 这 项 语法 的 用 法 和 优势 为 ， 我 们 看 一 个 简单 的 例子 : 


const request = require( request ' ) ; 


function getPageHtml(url) { 
return new Promise(function(resolve, reject) { 
request(url, function(error, response, body) { 
resolve(body); 
}); 
}); 


async function main() { 
const html = await getPageHtml('http://google.com'); 
console.log(html); 


} 


main( ); 
console.log('Loading...'); 


在 上 述 代码 中 ， 有 两 个 函数 : getPageHtml 和 main 。 第 一 个 函数 的 作用 是 提取 
给 定 URL 的 一 个 远程 网 页 的 HTML 文档 代码 。 值 得 注意 的 是 ， 这 个 函数 返回 一 
个 Promise 对 象 。 


重点 在 于 main 函数 ， 因 为 在 这 里 使 用 了 async 和 await 关键 字 。 首 先 要 注意 
的 是 函数 要 以 async 关键 字 为 前 级 。 意 思 是 这 个 函数 执行 的 是 异步 代码 并 且 人 允许 
它 在 函数 体内 使 用 await 关键 字 。 await 关键 字 在 getPageHtml 调用 之 前 ， 告 
诉 JavaScript 解释 器 在 继续 执行 下 一 条 指令 之 前 ， 等 待 getPageHtml 返回 

的 Promise 对 象 的 结果 。 这 样 ， main 函数 内 部 哪 部 分 代码 是 异步 的 ， 它 会 等 待 
异步 代码 的 完成 再 继续 执行 后 续 操作 ， 并 且 不 会 阻塞 这 段 程序 其 余部 分 的 正常 执 
行 。 实 际 上 ， 控 制 台 会 打印 字符 串 Loading..，， 随 后 是 Google 主 页 的 HTML 代 


是 不 是 这 种 方法 的 可 读 性 更 好 并 且 更 容易 理解 呢 ? 不 幸 地 是 ， 这 个 提议 尚未 定案 ， 
即使 通过 这 个 提议 ， 我 们 需要 等 下 一 个 版 本 的 ECMAScript 规范 出 来 并 把 它 集成 
到 Node.js 后 ， 才 能 使 用 这 个 新 语法 。 所 以 我 们 今天 做 了 什么 ?只 是 漫 无 目的 地 
等 待 ?3 不是， 当然 不 是 | 我 们 已 经 可 以 在 我 们 的 代码 中 使 用 async await 语法 ， 

只 要 我 们 使 用 Babel 。 


安装 与 运行 Babel 

Babel 是 一 个 JavaScript 编译 器 (或 翻译 器 )， 能 够 使 用 语法 转换 器 将 高 版 本 

的 JavaScript 代码 转换 成 其 他 JavaScript 代码 。 语 法 转换 器 允许 例如 我 们 书 
写 并 使 用 ES2015 ， ES2016 ， JSX 和 其 它 的 新 语法 ， 来 翻译 成 往 后 兼容 的 代 
码 ， 在 JavaScript 运行 环境 如 浏览 器 或 Node.js 中 都 可 以 使 用 Babel 。 


在 项 目 中 使 用 npm 安装 Babel ， 命 令 如 下 : 


npm install --save-dev babel-cli 


我 们 还 需要 安装 插件 以 支持 async await 语法 的 解释 或 翻译 : 


npm install --save-dev babel-plugin-syntax-async-functions babel 
-plugin-tranform-async-to-generator 


现在 假设 我 们 想 运 行 我 们 之 前 的 例子 ( 称 为 index.js ) 。 我 们 需要 通过 以 下 命令 
启动 : 


node_ modules/.bin/babel-node --plugins "syntax-async-functions,t 
ransform-async-to-generator" index,js 


这 样 ， 我 们 使 用 支持 async await 的 转换 器 动态 地 转换 源 代码 。 Node.js 运行 
的 实际 是 保存 在 内 存 中 的 往 后 兼容 的 代码 。 


Babel 也 能 被 配置 为 一 个 代码 构建 工具 ， 保 存 翻译 或 解释 后 的 代码 到 本 地 文件 系 
统 中 ， 便 于 我 们 部 署 和 运行 生成 的 代码 。 


关于 如 何 安 装 和 配置 Babel， 可 以 到 官方 网 站 https://babeljs.io 查阅 相关 文档 。 
几 种 方式 的 比较 


现在 ， 我 们 应 该 对 于 怎么 处 理 JavaScript 的 异步 问题 有 了 一 个 更 好 的 认识 和 总 
结 。 在 下 面 的 表格 中 总 结 几 大 机 制 的 优势 和 劣势 : 


Asynchronous Control Flow Patterns with ES2015 and Beyond 








Rsync (library) 








@ ”提供 与 第 三 方 库 最 佳 的 
兼容 性 

@ ”允许 ad hoc 和 更 高 级 
算法 的 创建 

@ 简化 最 常见 的 控制 流 模 
式 

@ 还 是 一 个 





方案 Pros Cons 
扁平 的 JavaScript @ 不 需要 任何 库 或 技术 可 能 需要 额外 的 代码 和 相对 
(Plain JavaScript) @ ”提供 最 好 的 性 能 复杂 的 算法 





@ ”引入 一 个 外 部 依赖 
@ ”对 于 高 级 的 流 来 说 还 是 


不 够 的 








callback-based 的 
解决 方案 
@ 性 能 好 





Promises 


Generators 


@ ”大 大 简化 最 常见 的 控制 
流 模式 

@ 和 鲁 棒 的 error 处 理 

@ ES2015 规范 的 一 部 分 

@ 确保 onFullfilled 和 
onRejected 的 延迟 调 
用 

@ 使 得 非 阻塞 API 看 起 来 
像 阻 塞 一 样 

@ ES2015 规范 的 一 部 分 


@ 需要 promisify 
callback-based 的 


APIs 


@ 引入 以 小 的 性 能 损失 





@ 需要 一 个 辅助 的 控制 流 
库 

@ ”依然 需要 callbacks 
或 promises 来 实现 非 
顺序 流 

@ 需要 thunkify 或 
promisify 非 
generator-based 的 


APIS 





Async await 








@ 使 得 非 阻 塞 API 看 起 来 
像 阻塞 一 样 
@ 简洁 直观 的 语法 





@ 在 原生 的 JavaSscript 
和 Node .js 还 不 能 使 用 
今天 使 用 需要 Babel 或 
其 他 翻译 器 和 一 些 配置 
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元 ， 我 们 选择 在 本 章 中 仅 介 绍 处 理 异步 控制 流程 的 最 受 欢 ; 迎 的 解决 

案 ， 或 者 是 广泛 使 用 的 解决 方案 ， 但 是 例如 Fibers ( 
ee ) 和 Streamline ( https://npmjs.org/p 
ackage/streamline ) 也 是 值得 一 看 的 。 


这 结 


/ 


在 本 章 中 ， 我 们 分 析 了 一 些 处 理 异 步 控制 流 的 方法 ， 分 析 
了 Promise 、 Generator 函数 和 即将 到 来 的 async await 语法 。 


我 们 学 习 了 如 何 使 用 这 些 方法 编写 更 简洁 ， 更 具有 可 读 性 的 异步 代码 。 我 们 讨论 了 
这 些 方法 的 一 些 最 重要 的 优点 和 缺点 ， 并 认识 到 即使 它们 非常 有 用 ， 也 需要 一 些 时 
间 来 掌握 。 这 就 是 这 几 种 方式 也 没有 完全 取代 在 许多 情况 下 仍然 非常 有 用 的 回调 的 
原因 。 作 为 一 名 开发 人 员 ， 应 该 按照 实际 情 况 分 析 决 定 使 用 哪 种 解决 方案 。 如 果 您 
正在 构建 执行 异步 操作 的 公共 库 ， 则 应 该 提供 易于 使 用 的 API ， 即 使 对 于 只 想 使 
用 回调 的 开发 人 员 也 是 如 此 。 


在 下 一 章 中 ， 我 们 将 探讨 另 一 个 与 异步 代码 执行 相关 的 机 制 ， 这 也 是 整 
个 Node,js 生态 系统 中 的 另 一 个 基本 构建 块 : streams 。 


Coding with Streams 


Streams 是 Node.js 最 重要 的 组 件 和 模式 之 一 。 社 区 中 有 一 句 格 言 “Stream all 
the things (Steam 就 是 所 有 的 ) ”， 仅 此 一 点 就 足以 描述 流 在 Node.js 中 的 地 位 。 
Dominic Tarr 作为 Node.js 社区 的 最 大 贡献 者 ， 它 将 流 定义 为 Node.js 最 

好 ， 也 是 最 难以 理解 的 概念 。 


使 Node.js 的 Streams 如 此 吸引 人 还 有 其 它 原因 ; 此 外 ， Streams 不 仅 与 性 能 
或 效率 等 技术 特性 有 关 ， 更 重要 的 是 它们 的 优雅 性 以 及 它们 与 Node .js 的 设计 理 
念 完 美 契 合 的 方式 。 


在 本 章 中 ， 将 会 学 到 以 下 内 容 : 


e Streams 对 于 Node,js 的 重要 性 。 

e@ 如 何 创 建 并 使 用 Streams 。 

e Streams 作为 编程 范式 ， 不 只 是 对 于 I/0 而 言 ， 在 多 种 应 用 场景 下 它 的 应 
用 和 强大 的 功能 。 

@ 管道 模式 和 在 不 同 的 配置 中 连接 Streams 。 


发 现 Streams 的 重要 性 


在 基于 事件 的 平台 (如 Node,js ) 中 ， 处 理 I / 0 的 最 有 效 的 方法 是 实时 处 
理 ， 一 旦 有 输入 的 信息 ， 立 马 进 行 处 理 ， 一 旦 有 需要 输出 的 结果 ， 也 立马 输出 反 


馈 。 


在 本 节 中 ， 我 们 将 首先 介绍 Node.js 的 Streams 和 它 的 优点 。 请 记 住 ， 这 只 是 
一 个 概述 ， 因 为 本 章 后 面 将 会 详细 介绍 如 何 使 用 和 组 合 Streams 。 


Streams 和 Buffer 的 比较 


我 们 在 本 书 中 几乎 所 有 看 到 过 的 异步 AP| 都 是 使 用 的 Buffer 模式 。 对 于 输入 操 
作 ， Buffer 模式 会 将 来 自 资源 的 所 有 数据 收集 到 Buffer 区 中 ; 一旦 读 取 完整 个 
资源 ， 就 会 把 结果 传递 给 回调 函数 。 下 图 显示 了 这 个 范例 的 一 个 真实 的 例子 : 


Coding with Streams 
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Hello Node.js 




















从 上 图 我 们 可 以 看 到 ， 在 t{ 时 刻 ， 一 些 数据 从 资源 接收 并 保存 到 缓冲 区 。 在 t2 时 
刻 ， 最 后 一 段 数据 被 接收 到 另 一 个 数据 块 ， 完 成 读 取 操作 ， 这 时 ， 把 整个 缓冲 区 的 
内 容 发 送 给 消费 者 。 


另 一 方面 ， Streams 允许 你 在 数据 到 达 时 立即 处 理 数据 。 如 下 图 所 示 : 





t1 


by 








Hello Node.js 














Receive 


Hello Node.js 








这 一 张 图 显示 了 Streams 如 何 从 资源 接收 每 个 新 的 数据 块 ， 并 立即 提供 给 消费 
者 ， 消 费 者 现在 不 必 等 待 缓冲 区 中 收集 所 有 数据 再 处 理 每 个 数据 块 。 


但 是 这 两 种 方法 有 什么 区 别 呢 ? 我 们 可 以 将 它们 概括 为 两 点 : 
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e@ 空间 效率 
e@ 时 间 效率 


此 外 ， Node.js 的 Streams 具有 另 一 个 重要 的 优点 : 可 组 合 性 
(composability) 。 现在 让 我 们 看 看 这 些 属性 对 我 们 设计 和 编写 应 用 程序 的 方式 
会 产生 什么 影响 。 


空间 效率 


首先 ， Streams 允许 我 们 做 一 些 看 起 来 不 可 能 的 事情 ， 通 过 缓冲 数据 并 一 次 性 处 
理 。 例 如 ， 考 虑 一 下 我 们 必须 读 取 一 个 非常 大 的 文件 ， 比 如 说 数 百 MB 其 至 

千 MB 。 显然 ， 等 待 完全 读 取 文件 时 返回 大 Buffer 的 API 不 是 一 个 好 主意 。 
想象 一 下 ， 如 果 并 发 读 取 一 些 大 文件 ， 我 们 的 应 用 程序 很 容易 耗 尽 内 存 。 除 此 之 
外 ，V8 中 的 Buffer 不 能 大 于 90x3FFFFFFF 字 节 (小 于 1G6B ) 。 所 以 ， 在 耗 
尽 物理 内 存 之 前 ， 我 们 可 能 会 碰壁 。 


使 用 Buffered 的 API 进 行 压 缩 文 件 


举 一 个 具体 的 例子 ， 让 我 们 考虑 一 个 简单 的 命令 行 接口 ( CLI ) 的 应 用 程序 ， 它 
使 用 Gzip 格式 压缩 文件 。 使 用 Buffered 的 API ， 这 样 的 应 用 程序 
在 Node.js 中 大 概 这 么 编写 (为 简洁 起 见 ， 省 略 了 弄 常 处 理 ) 


const fs = require( 'fs"'); 
const zlib = require('z1ib'); 
const file = process.argv[2]; 
fs.readFile(file, (err, buffer) => { 
zlib.gzip(buffer, (err, buffer) => { 
fs.writeFile(file + '.gz', buffer, err => { 
console.log('File successfully compressed'); 


0 
现在 ， 我 们 可 以 尝试 将 前 面 的 代码 放 在 一 个 叫做 gzip.js 的 文件 中 ， 然 后 执行 下 


面 的 命令 : 


node gzip <path to file> 


如 果 我 们 选择 一 个 足够 大 的 文件 ， 比 如 说 大 于 16GB 的 文件 ， 我 们 会 收 到 一 个 错误 
言 息 ， 说 明 我 们 要 读 取 的 文件 大 于 最 大 允许 的 缓冲 区 大 小 ， 如 下 所 示 : 


RangeError: File size is greater than possible Buffer :0Xx3FFFFFFF 


Node. js-Code 





ee 


上 面 的 例子 中 ， 没 找到 一 个 大 文件 ， 但 确实 对 于 大 文件 的 读 取 速率 慢 了 许多 。 
正如 我 们 所 预料 到 的 那样 ， 使 用 Buffer 来 进行 大 文件 的 读 取 显 然 是 错误 的 。 


使 用 Streams 进 行 压 缩 文件 


我 们 必须 修复 我 们 的 Gzip 应 用 程序 ， 并 使 其 处 理 大 文件 的 最 简单 方法 是 使 
用 Streams 的 API 。 让 我 们 看 看 如 何 实现 这 一 点 。 让 我 们 用 下 面 的 代码 替换 刚 
创建 的 模块 的 内 容 : 


const fs = require('fs'); 
const zlib = require('z1ib'); 
const file = process.argv[2]; 
fs.createReadStream(file) 
.pipe(zlib.createGzip()) 
.pipe(fs.createwritestream(file + '.gz')) 
.On('finish', () => console.log('File successfully compressed ' 


) ); 


“是 吗 ? ”你 可 能 会 问 。 是 的 ; 正如 我 们 所 说 的 ， 由 于 Streams 的 接口 和 可 组 合 

性 ， 因 此 我 们 还 能 写 出 这 样 的 更 加 简洁 ， 优 雅 和 精炼 的 代码 。 我 们 稍 后 会 详细 地 看 
到 这 一 点 ， 但 是 现在 需要 认识 到 的 重要 一 点 是 ， 程 序 可 以 顺畅 地 运行 在 任何 大 小 的 
文件 上 ， 理 想 情 况 是 内 存 利用 率 不 变 。 尝试 一 下 (但 考虑 压缩 一 个 大 文件 可 能 需 
一 段 时 间 ) 。 


时 间 效 率 


现在 让 我 们 考虑 一 个 压缩 文件 并 将 其 上 传 到 远程 HTTP 服务 器 的 应 用 程序 的 例子 ， 
该 远程 HTTP 服务 器 进而 将 其 解压 缩 并 保存 到 文件 系统 中 。 如 果 我 们 的 客户 端 是 使 
用 Buffered 的 API 实现 的 ， 那 么 只 有 当 整 个 文件 被 读 取 和 压缩 时 ， 上 传 才 会 开 
始 。 另 一 方面 ， 只 有 在 接收 到 所 有 数据 的 情况 下 ， 解 压缩 才 会 在 服务 器 上 尼 动 。 
实现 相同 结果 的 更 好 的 解决 方案 涉及 使 用 Streams 。 在 客户 端 机 器 

上 ， Streams 只 要 从 文件 系统 中 读 取 就 可 以 压缩 和 发 送 数 据 块 ， 而 在 服务 器 上 ， 
只 要 从 远程 对 端 接收 到 数据 块 ， 就 可 以 解压 每 个 数据 块 。 我 们 通过 构建 前 面 提 到 的 
应 用 程序 来 展示 这 一 点 ， 从 服务 器 端 开 始 。 


我 们 创建 一 个 叫做 gzipReceive.js 的 模块 ， 代 码 如 下 : 


const http = require('http'); 
const fs = require('fs'); 
const zlib = require('z1ib'); 


const server = http.createServer((req, res) => { 

const filename = redq.headers.filename; 
console.log('File request received: ' + filename); 
req 

,pipe(zlLib,createGunzip()) 

.pipe(fs.createwriteStream(filename)) 

.OnN('finish', () => { 

res.writeHead(201, { 
'Content=Type': ‘text/plain, 


}); 
res.end('That\'s it\n'); 


console.log( File saved: ${filename} ); 


}); 
jr) 


server.listen(3000, () => console.log('Listening')); 


服务 器 从 网 络 接收 数据 块 ， 将 其 解压 缩 ， 并 在 接收 到 数据 块 后 立即 保存 ， 这 要 归功 
于 Node.js 的 Streams 。 


我 们 的 应 用 程序 的 客户 端 将 进入 一 个 名 为 gzipSend ,js 的 模块 ， 如 下 所 示 : 


在 前 面 的 代码 中 ， 我 们 再 次 使 用 Streams 从 文件 中 读 取 数据 ， 然 后 在 从 文件 系统 
中 读 取 的 同时 压缩 并 发 送 每 个 数据 块 。 


关 
现在 ， 运 行 这 个 应 用 程序 ， 我 们 首先 使 用 以 下 命令 启动 服务 器 : 
node gzipReceive 


然后 ， 我 们 可 以 通过 指定 要 发 送 的 文件 和 服务 器 的 地 址 (例如 localhost ) 来 局 
动 客户 端 : 


node gzipSend <path to file> localhost 


X ../Nodejs-Code (zsh) 三 X node (node) 





如 果 我 们 选择 一 个 足够 大 的 文件 ， 我 们 将 更 容易 地 看 到 数据 如 何 从 客户 端 流向 服务 
器 ， 但 为 什么 这 种 模式 下 ， 我 们 使 用 Streams ， 比 使 用 Buffered 的 API 更 有 
效率 ?3 下 图 应 该 给 我 们 一 个 提示 : 


[ On the client 
[] On the Server 
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一 个 文件 被 处 理 的 过 程 ， 它 经 过 以 下 阶段 : 


.客户 端 从 文件 系统 中 读 取 

. 客户 端 压 缩 数 据 

. 客户 端 将 数据 发 送 到 服务 器 
服务 端 接收 数据 
服务 端 解压 数据 

. 服务 端 将 数据 写 入 磁盘 


为 了 完成 处 理 ， 我 们 必须 按照 流水 线 顺 序 那样 经 过 每 个 阶段 ， 直 到 最 后 。 在 上 图 
中 ， 我 们 可 以 看 到 ， 使 用 Buffered 的 API ， 这 个 过 程 完全 是 顺序 的 。 为 了 压缩 
数据 ， 我 们 首先 必须 等 待 整个 文件 被 读 取 完毕 ， 然 后 ， 发 送 数据 ， 我 们 必须 等 待 整 
个 文件 被 读 取 和 压缩 ， 依 此 类 推 。 当 我 们 使 用 Streams 时 ， 只 要 我 们 收 到 第 一 个 
数据 块 ， 流 水 线 就 会 被 启动 ， 而 不 需要 等 待 整 个 文件 的 读 取 。 但 更 令 人 惊讶 的 是 ， 
当下 一 块 数据 可 用 时 ， 不 需要 等 待 上 一 组 任务 完成 ; 相反 ， 另 一 条 装配 线 是 并 行 启 
动 的 。 因 为 我 们 执行 的 每 个 任务 都 是 异步 的 ， 这 样 显得 很 完美 ， 所 以 可 以 通 

过 Node.js 来 并 行 执行 Streams 的 相关 操作 ; 唯一 的 限制 就 是 每 个 阶段 都 必须 
保证 数据 块 的 到 达 顺 序 。 


从 前 面 的 图 可 以 看 出 ， 使 用 Streams 的 结果 是 整个 过 程 花 费 的 时 间 更 少 ， 因 为 我 
们 不 用 等 待 所 有 数据 被 全 部 读 取 完毕 和 处 理 。 


OO 上 coN 一 


组 合 性 


到 目前 为 止 ， 我 们 已 经 看 到 的 代码 已 经 告诉 我 们 如 何 使 用 pipe() 方法 来 组 

装 Streams 的 数据 块 ，Streams 允许 我 们 连接 不 同 的 处 理 单元 ， 每 个 处 理 单 元 
负责 单一 的 职责 (这 是 符合 Node.js 风格 的 ) 。 这 是 可 能 的 ， 因 为 Streams 有 具 
有 统一 的 接口 ， 并 且 就 API 而 言 ， 不 同 Streams 也 可 以 很 好 的 进行 交互 。 唯 一 
的 先决 条 件 是 管道 的 下 一 个 Streams 必须 支持 上 一 个 Streams 生成 的 数据 类 
型 ， 可 以 是 二 进 制 ， 文 本 甚至 是 对 象 ， 我 们 将 在 后 面 的 章节 中 看 到 。 


为 了 证 明 Streams 组 合 性 的 优势 ， 我 们 可 以 尝试 在 我 们 先前 构建 

的 gzipReceive / gzipSend 应 用 程序 中 添加 加 密 功 能 。 为 此 ， 我 们 只 需要 通过 
向 流水 线 添 加 另 一 个 Streams 来 更 新 客户 端 。 确切 地 说 ， 

由 crypto.createchipher() 返回 的 流 。 由 此 产生 的 代码 应 如 下 所 示 : 


const fs = require('fs'); 

const zlib = require('z1ib'); 
const crypto = require('crypto'); 
const http = require('http"'); 
const path = require('path"'); 
const file = process.argv[2]; 
const server = process.argv[3]; 


const options = { 
hostname: server, 
port: 3000, 
path: '/", 
method: 'PUT', 
headers: { 
filename: path.basename(file), 
'Content-Type': 'application/octet-stream', 
'Content-Encoding': 'gzip' 
} 
}; 


const req = http.request(options, res => { 
console.log('Server response: ' + res.statusCode); 


}); 


fs.createReadStream(file) 
.pipe(zlib.createGzip()) 
.pipe(crypto.createCipher('aes192', 'a_shared secret')) 
.pipe(req) 
.oNn('finish', () => { 
console.log('File successfully sent'); 


}); 


使 用 相同 的 方式 ， 我 们 更 新 服务 端的 代码 ， 使 得 它 可 以 在 数据 块 进行 解压 之 前 先 解 


密 : 


const http = require( 'http ' ) ， 
const fs = require('fs'); 

const zlib = require('z1ib'); 
const crypto = require('crypto'); 


const server = http.createServer((req, res) => { 

const filename = redq.headers.filename; 

console.log('File request received: ' + filename); 

req 
.pipe(crypto.createDecipher('aes192', 'a_shared _ secret')) 
.pipe(zlib.createGunzip()) 
.pipe(fs.createwriteStream(filename)) 
som inasna (全 是 三 汪汪 

res.writeHead(201, { 
'Content-Type': 'text/plain’ 


}); 
res.end('That\'s it\n'); 


console.log( File saved: ${filename} ); 
}); 
}); 


server.listen(3000, () => console.log('Listening')); 


crypto 是 Node.js 的 核心 模块 之 一 ， 提 供 了 一 系列 加 密 算 法 。 


只 需 几 行 代码 ， 我 们 就 在 应 用 程序 中 添加 了 一 个 加 密 层 。 我 们 只 需要 简单 地 通过 把 
已 经 存在 的 Streams 模块 和 加 密 层 组 合 到 一 起 ， 就 可 以 。 类 似 的 ， 我 们 可 以 添加 
和 合并 其 他 Streams ， 如 同 在 玩乐 高 积木 一 样 。 


显然 ， 这 种 方法 的 主要 优点 是 可 重用 性 ， 但 正如 我 们 从 目前 为 止 所 介绍 的 代码 中 可 
以 看 到 的 那样 ， Streams 也 可 以 实现 更 清晰 ， 更 模块 化 ， 更 加 简洁 的 代码 。 出 于 
这 些 原因 ， 流 通常 不 仅仅 用 于 处 理 纯 粹 的 I / 0 ， 而 且 它 还 是 简化 和 模块 化 代码 
的 手段 。 


开始 使 用 Streams 


在 前 面 的 章节 中 ， 我 们 了 解 了 为 什么 Streams 如 此 强大 ， 而 且 它 在 Node.js 中 
无 处 不 在 ， 甚 至 在 Node.js 的 核心 模块 中 也 有 其 身影 。 例 如， 我 们 已 经 看 

到 ， fs 模块 具有 用 于 从 文件 读 取 的 createReadStream() 和 用 于 写 入 文件 

的 createwWriteStream() ， HTTP 请 求 和 响应 对 象 本 质 上 是 Streams ， 并 
且 zlib 模块 允许 我 们 使 用 Streams 式 API 压缩 和 解压 缩 数 据 块 。 


现在 我 们 知道 为 什么 Streams 是 如 此 重要 ， 让 我 们 退 后 一 步 ， 开 始 更 详细 地 探索 


O 


已 


Streams 的 结构 


Node.js 中 的 每 个 Streams 都 是 Streams 核心 模块 中 可 用 的 四 个 基本 抽象 类 之 
一 的 实现 : 


stream.Readable 
stream.writable 
stream.Duplex 
stream.Transform 


每 个 stream 类 也 是 EventEmitter 的 一 个 实例 。 实 际 上 ， Streams 可 以 产生 
几 种 类 型 的 事件 ， 比 如 end 事件 会 在 一 个 可 读 的 Streams 完成 读 取 ， 或 者 错误 
读 取 ， 或 其 过 程 中 产生 异常 时 触发 。 


请 注意 ， 为 简洁 起 见 ， 在 本 章 介 绍 的 例子 中 ， 我 们 经 常会 忽略 适当 的 错误 处 
理 。 人 但是， 在 生产 环境 下 中 ， 总 是 建议 为 所 有 Stream 注 册 错 误 事 件 侦 听 器 。 


Streams 之 所 以 如 此 灵活 的 原因 之 一 是 它 不 仅 能 够 处 理 二 进 制 数据 ， 而 且 几 乎 可 
以 处 理 任 何 JavaScript 值 。 实 际 上 ， Streams 可 以 支持 两 种 操作 模式 : 


@ 二 进 制 模式 : 以 数据 块 形 式 (例如 buffers 或 strings ) 流 式 传输 数据 
e@ 对 象 模式 : 将 流 数 据 视 为 一 系列 离散 对 象 〈 这 使 得 我 们 几乎 可 以 使 用 任 
何 JavaScript 值 ) 


这 两 种 操作 模式 使 我 们 不 仅 可 以 使 用 I / 0 流 ， 而 且 还 可 以 作为 一 种 工具 ， 以 函 
数 式 的 风格 优雅 地 组 合 处 理 单元 ， 我 们 将 在 本 章 后 面 看 到 。 


在 本 章 中 ， 我 们 将 主要 使 用 在 Node.js 0.11 中 引入 的 Node.js 流 接口 ， 也 称 为 版 
本 3。 有 关 与 昌 接 口 差异 的 更 多 详细 信息 ， 请 参阅 StrongLoop 在 
https://strongloop.com/strongblog/whats-new-io-js-beta-streams3/ 中 的 优秀 博 
客 文章 。 


可 读 的 Streams 
一 个 可 读 的 Streams 表示 一 个 数据 源 ， 在 Node.js 中 ， 它 使 用 stream 模块 中 


的 Readableabstract 类 实现 。 


从 Streams 中 读 取 信息 


从 可 读 Streams 接收 数据 有 两 种 方式 : non-flowing 模式 和 flowing 模式 。 
我 们 来 更 详细 地 分 析 这 些 模 式 。 


non-flowing 模 式 (不 流动 模式 ) 


从 可 读 的 Streams 中 读 取 数 据 的 默认 模式 是 为 其 附加 一 个 可 读 事件 侦 听 器 ， 用 于 
指示 要 读 取 的 新 数据 的 可 用 性 。 然 后 ， 在 一 个 循环 中 ， 我 们 读 取 所 有 的 数据 ， 直 到 
内 部 buffer 被 清空 。 这 可 以 使 用 read() 方法 完成 ， 该 方法 同步 从 内 部 缓冲 区 
中 读 取 数 据 ， 并 返回 表示 数据 块 的 Buffer 或 String 对 象 。 read() 方法 以 如 
下 使 用 模式 : 


readable,read([Size])， 


使 用 这 种 方法 ， 数 据 随 时 可 以 直接 从 Streams 中 按 需 提取 。 


为 了 说 明 这 是 如 何 工作 的 ， 我 们 创建 一 个 名 为 readStdin.js 的 新 模块 ， 它 实现 
了 一 个 简单 的 程序 ， 它 从 标准 输入 (一 个 可 读 流 ) 中 读 取 数据 ， 并 将 所 有 数据 回 送 
到 标准 输出 : 


process ,stdin 
.On('readable', () => { 


let chunk; 
console.log('New data available' )，; 
while ((chunk = process.stdin.read()) !== null) { 


console.log( 
‘Chunk read: (${chunk.length}) "${chunk.toString()}". 
); 
} 


.On('end', () => process.stdout.write('End of stream')); 


read() ep ， 它 从 可 读 Streams 的 内 部 Buffers 区 中 提取 数 
据 块 。 如 果 Streams 在 二 进 制 模式 下 工作 ， 返 回 的 数据 块 默 认为 一 个 Buffer 对 
象 0 


在 以 二 进 制 模式 工作 的 可 读 的 Stream 中 ， 我 们 可 以 通过 在 Stream 上 调用 
setEncoding(encoding) 来 读 取 字 符 串 而 不 是 Buffer 对 象 ， 并 提供 有 效 的 编码 格 
式 (例如 utf8) 。 


数据 是 从 可 读 的 侦 听 器 中 读 取 的 ， 只 要 有 新 的 数据 ， 就 会 调用 这 个 侦 听 器 。 当 内 部 
缓冲 区 中 没有 更 多 数据 可 用 时 ， read() 方法 返回 null ; 在 这 种 情况 下 ， 我 们 
不 得 不 等 待 另 一 个 可 读 的 事件 被 触发 ， 告 诉 我 们 可 以 再 ; 多 读 取 或 者 等 待 表 

示 Streams 读 取 过 程 结束 的 end 事件 触发 。 当 一 个 流 以 二 进 制 模式 工作 时 ， 我 
们 也 可 以 通过 向 read() 方法 传递 一 个 size 参数 来 指定 我 们 想 要 读 取 的 数据 大 
]。 这 在 实现 网 络 协 议 或 解析 特定 数据 格式 时 特别 有 用 。 


现在 ， 我 们 准备 运行 readStdin 模块 并 进行 实验 。 让 我 们 在 控制 台中 键入 一 些 字 
符 ， 然 后 按 Enter 键 查看 回 显 到 标准 输出 中 的 数据 。 要 终止 流 并 因此 生成 一 个 正 
常 的 结束 事件 ， 我 们 需要 插入 一 个 EOF (文件 结束 ) 字符 (在 Windows 上 使 

用 Ctrl + Z 或 在 Linux 上 使 用 Ctrl + D ) 。 


我 们 也 可 以 尝试 将 我 们 的 程序 与 其 他 程序 连接 起 来 :这 可 以 使 用 管道 运算 符 
ee 一 个 程序 的 标准 输 和 入。 例如， 我们 可 以 
运行 如 下 命 


cat <path to a file> | node readStdin 


这 是 流 式 范例 是 一 个 通用 接口 的 一 个 很 好 的 例子 ， 它 使 得 我 们 的 程序 能 够 进行 通 
信 ， 而 不 管 它 们 是 用 什么 语言 写 的 。 


flowing 模 式 (流动 模式 ) 


从 Streams 中 读 取 的 另 一 种 方法 是 将 侦 听 器 附加 到 data 事件 ; 这 会 

将 Streams 切换 为 flowing 模式 ， 其 中 数据 不 是 使 用 read() 函数 来 提取 的 ， 
而 是 一 旦 有 数据 到 达 data 监听 器 就 被 推送 到 监听 器 内 。 人 例如， 我 们 之 前 创建 
的 readStdin 应 用 程序 将 使 用 流动 模式 : 


process ,stdin 
.On('data', chunk => { 
console.log('New data available'); 
console.1log( 
“Chunk read: (${chunk.length}) "${chunk.toString()}" 
); 
}) 


.On('end', () => process.stdout.write('End of stream')); 


flowing 模式 是 昌 版 Streams 接口 (也 称 为 Streams1 ) 的 继承 ， 其 灵活 性 较 
低 ， API 较 少 。 随 着 Streams2 接口 的 引入 ， flowing 模式 不 是 默认 的 工作 模 
式 ， 要 启用 它 ， 需 要 将 侦 听 器 附加 到 data 事件 或 显 式 调用 resume() 方法 。 要 
暂时 中 断 Streams 触发 data 事件 ， 我 们 可 以 调用 pause() 方法 ， 导 致 任何 传 
入 数据 缓存 在 内 部 buffer 中 。 


调用 pause() 不 会 导致 Streams 切 换 回 non-flowing 模 式 。 


实现 可 读 的 Streams 


现在 我 们 知道 如 何 从 Streams 中 读 取 数据 ， 下 一 步 是 学 习 如 何 实 现 一 个 新 
的 Readable 数据 流 。 为 此 ， 有 必要 通过 继承 stream.Readable 的 原型 来 创建 一 
个 新 的 类 。 具体 流 必 须 提供 _read() 方法 的 实现 : 


readable._read(size) 


Readable 类 的 内 部 将 调用 read() 方法 ， 而 该 方法 又 将 启动 使 用 push() 卉 
充 内 部 缓冲 区 : 


请 注意 ，read() 是 Stream 消 费 者 调用 的 方法 ， 而 _read() 是 一 个 由 Stream 子 类 实 
现 的 方法 ， 不 能 直接 调用 。 下 划 线 通常 表示 该 方法 为 私有 方法 ， 不 应 该 直接 调 
用 。 


为 了 演示 如 何 实现 新 的 可 读 Streams ， 我 们 可 以 尝试 实现 一 个 生成 随机 字符 串 
的 Streams 。 我 们 来 创建 一 个 名 为 randomStream.js 的 新 模块 ， 它 将 包含 我 们 
的 字符 串 的 generator 的 代码 : 


const stream 
const Chance 


require('stream' ); 
require('chance' ); 


const chance = new Chance( ) ， 


class RandomStream extends stream.Readable { 
constructor(options) { 
Super(options ) 


} 


_read(size) { 
const chunk = chance.string(); //[1] 
console.log( Pushing chunk of size: ${chunk.length} ); 
this.push(chunk, 'utf8'); //[2] 
If (chance.bool({ 
likelihood: 5 
})) { //L3] 
this.push(null); 


} 
} 
} 


module.exports = RandomStream; 


在 文件 顶部 ， 我 们 将 加 载 我 们 的 依赖 关系 。 除 了 我 们 正在 加 载 一 个 chance 的 npm 模 
块 之 外 ， 没 有 什么 特别 之 处 ， 它 是 一 个 用 于 生成 各 种 随机 值 的 库 ， 从 数字 到 字符 囊 
到 整个 句子 都 能 生成 随机 值 。 


下 一 步 是 创建 一 个 名 为 RandomStream 的 新 类 ， 并 指定 stream.Readable 作为 
其 父 类 。 在 前 面 的 代码 中 ， 我 们 调用 父 类 的 构造 函数 来 初始 化 其 内 部 状态 ， 并 将 收 
到 的 options 参数 作为 输入 。 通 过 options 对 象 传递 的 可 能 参数 包括 以 下 内 


人 


多 


e 用 于 将 Buffers 转换 为 Strings 的 encoding 参数 (默认 值 为 null ) 
@ 是 否 启 用 对 象 模 式 〈 objectMode 默认 为 false ) 
e@ 存储 在 内 部 buffer 区 中 的 数据 的 上 限 ， 一 旦 超过 这 个 上 限 ， 则 暂停 

从 data source 读 取 ( highwaterMark 默认 为 16KB ) 


好 的 ， 现 在 让 我 们 来 解释 一 下 我 们 重 写 的 stream.Readable 类 的 _read() 方 
法 : 


e 该 方法 使 用 chance 生成 随机 字符 串 。 

e。 它 将 字符 串 push 内 部 buffer 。 请 注意 ， 由 于 我 们 push 的 是 String ， 
此 外 我 们 还 指定 了 编码 为 utf8 (如 果 数 据 块 只 是 一 个 二 进 制 Buffer ， 则 
不 需要 ) 。 

e 以 5% 的 概率 随机 中 断 stream 的 随机 字符 串 产 生 ， 通 过 push null 到 内 
部 Buffer 来 表示 EOF ， 即 stream 的 结束 。 


我 们 还 可 以 看 到 在 _read() 函数 的 输入 中 给 出 的 size 参数 被 忽略 了 ， 因 为 它 是 
一 个 建议 的 参数 。 我 们 可 以 简单 地 把 所 有 可 用 的 数据 都 push 到 内 部 

的 buffer 中 ， 但 是 如 果 在 同一 个 调用 中 有 多 个 推送 ， 那 么 我 们 应 该 检 

查 push() 是 否 返回 false ， 因 为 这 意味 着 内 部 buffer 已 经 达到 

了 highwaterMark 限制 ， 我 们 应 该 停止 添加 更 多 的 数据 。 


以 上 就 是 RandomStream 模块 ， 我 们 现在 准备 好 使 用 它 。 我 们 来 创建 一 个 名 
为 generateRandom.js 的 新 模块 ， 在 这 个 模块 中 我 们 实例 化 一 个 新 
的 RandomStream 对 象 并 从 中 提取 一 些 数 据 : 


const RandomStream = require('./randomSstream'); 
const randomStream = new RandomStream( ); 


randomStream.on('readable', () => { 


Jet chunk; 
while ((chunk = randomStream.read()) !== null) { 
console.log( Chunk received: ${chunk.toSstring()} ); 
} 
}); 


现在 ， 一 切 都 准备 好 了 ， 我 们 尝试 新 的 自 定义 的 stream 。 像 往常 一 样 简单 地 执 
行 generateRandom 模块 ， 观 察 随机 的 字符 串 在 屏幕 上 流动 。 


可 写 的 Streams 


一 个 可 写 的 stream 表示 一 个 数据 终点 ， 在 Node.js 中 ， 它 使 用 stream 模块 中 
的 Writable 抽象 类 来 实现 。 


写 入 一 个 stream 


把 一 些 数据 放 在 可 写 入 的 stream 中 是 一 件 简单 的 事情 ， 我 们 所 要 做 的 就 是 使 
用 write() 方法 ， 它 具有 以 下 格式 : 


writable.write(chunk, [encoding], [callback]) 


encoding 参数 是 可 选 的 ， 其 在 chunk 是 String 类 型 时 指定 (默认 
为 utf8 ， 如 果 chunk 是 Buffer ， 则 忽略 ) ; 当 数 据 块 被 刷新 到 底层 资源 中 
时 ， callback 就 会 被 调用 ， callback 参数 也 是 可 选 的 。 


为 了 表示 没有 更 多 的 数据 将 被 写 入 stream 中 ， 我 们 必须 使 用 end() 方法 : 


writable.end([chunk], [encoding], [callback]) 


我 们 可 以 通过 end() 方法 提供 最 后 一 块 数据 。 在 这 种 情况 下 ， callbak 函数 相 
当 于 为 finish 事件 注册 一 个 监听 器 ， 当 数据 块 全 部 被 写 入 stream 中 时 ， 会 触 
发 该 事件 。 

现在 ， 让 我 们 通过 创建 一 个 输出 随机 字符 串 序 列 的 小 型 HTTP 服务 器 来 演示 这 是 如 
何 工 作 的 : 


const Chance 
const chance 


reduire( chance ); 
new Chance( ) ; 


require('http').createServer((req, res) => { 
res.writeHead(200, { 
'Content-Type': 'text/plain' 
bye Yl 


while (chance.bool({ 
likelihood: 95 


})) { //[2] 


res.write(chance.string() + '\n'); //|3|] 


} 
res.end('\nThe end...\n'); //[4] 
res.on('finish', () => console.log('All data was sent')); //[S] 


}).listen(8080, () => console.log('Listening on http://localhost 
:8080' )); 


国志 @@ 半 [! 冉 于 和 


我 们 创建 了 一 个 HTTP 服 务 器 ， 并 把 数据 写 入 res 对 象 ， res 对 象 
是 http,ServerResponse 的 一 个 实例 ， 也 是 一 个 可 写 入 的 stream 。 下 面 来 解 
释 上 述 代 码 发 生 了 什么 


1. 我 们 首先 写 HTTP response 的 头 部 。 请 注意 ， writeHead() 不 
是 Writable 接口 的 一 部 分 ， 实 际 上 ， 这 个 方法 
是 http.ServerResponse 类 公开 的 辅助 方法 。 

2. 我 们 开始 一 个 5% 的 概率 终止 的 循环 (进入 循环 体 的 概率 
为 chance.bool() 产生 ， 其 为 95% ) 。 

3. 在 循环 内 部 ， 我 们 写 入 一 个 随机 字符 串 到 stream 。 

4. 一 旦 我 们 不 在 循环 中 ， 我 们 调用 stream 的 end() ， 表 示 没 有 更 多 数据 块 将 
被 写 入 。 另 外 ， 我 们 在 乡 吉 束 之 前 提供 一 个 最 终 的 字符 囊 写 入 流 中 。 

5. 最 后 ， 我 们 注册 一 个 finish 事件 的 监听 器 ， 当 所 有 的 数据 块 都 被 刷新 到 底 
层 socket 中 时 ， 这 个 事件 将 被 触发 。 


ee 这 个 小 模块 称 为 entropyServer.js ， 然 后 执行 它 。 要 测试 这 个 服 
务 器 ， A eps http : // localhost:8080 打开 一 个 浏览 器 ， 或 者 从 终端 
使 用 curl 命令 ， 如 下 所 示 : 


curl localhost:8080 


此 时 ， 服 务 器 应 该 开始 向 您 选择 的 HTTP 客 户 端 发 送 随 机 字符 串 (请 注意 ， 某 些 浏 
器 可 能 会 缓冲 数据 ， 并 且 流 式 传输 行为 可 能 不 明显 ) 。 


览 颈 可 


Back-pressure ( 反 压 ) 


类 似 于 在 丨 实 管 道 系 统 中 流动 的 液体 ， Node.js 的 stream 也 可 能 遭受 瓶颈 ， 数 
据 写 入 速度 可 能 快 于 stream 的 消耗 。 解决 这 个 问题 的 机 制 包 括 缓 冲 输 入 数据 ; 
然而 ， 如 果 数 据 stream 没有 给 生产 者 任何 反馈 ， 我 们 可 能 会 产生 越 来 越 多 的 数据 
被 累积 到 内 部 缓冲 区 的 情况 ， 导 致 内 存 泄 露 的 发 生 。 


为 了 防止 这 种 情况 的 发 生 ， 当 内 部 buffer 超过 highwaterMark 限制 
时 ， writable.write() 将 返回 false 。 可 写 入 的 stream 具 
有 highwaterMark 属性 ， 这 是 write() 方法 开始 返回 false 的 内 
部 Buffer 区 大 小 的 限制 ， 一 旦 Buffer 区 的 大 小 超过 这 个 限制 ， 表 示 应 用 程序 
应 该 停止 写 入 。 当 缓 冲 器 被 清空 时 ， 会 触发 一 个 叫做 drain 的 事件 ， 通 知 再 次 开 
始 写 入 是 安全 的 。 这 种 机 制 被 称 为 back-pressure 。 

本 节 介 绍 的 机 制 同样 适用 于 可 读 的 stream。 事 实 上 ， 在 可 读 stream 中 也 存在 


back-pressure， 并 且 在 _read() 内 调用 的 push() 方 法 返回 false 时 触发 。 但 是 ， 
这 对 于 stream 实 现 者 来 说 是 一 个 特定 的 问题 ， 所 以 我 们 将 不 经 常 处 理 它 。 


我 们 可 以 通过 修改 之 前 创建 的 entropyServer 模块 来 演示 可 写 入 
的 stream 的 back-pressure 


const Chance 
const chance 


reduirel( chnance ); 
new Chance( ) ; 


require('http').createServer((req, res) => { 
res.writeHead(200, { 
'Content-Type': 'text/plain' 
}); 


function generateMore() { //[1] 
while (chance.bool({ 
likelihood: 95 


yO 


const shouldContinue = res.write( 
chance.string({ 
length: (16 * 1024) - 1 
by Z| 


); 
If (!shouldContinue) { //[3] 
console.log('Backpressure' ) ， 
return res.once('drain', generateMore); 
} 


res.end('\nThe end...\n', () => console.log('All data was se 
nt ' )); 


generateMore( ); 
}).listen(8080, () => console.log('Listening on http://localhost 
:8080')); 


前 面 代码 中 最 重要 的 步骤 可 以 概括 如 下 : 


1. 我 们 将 主 逻 辑 封 装 在 一 个 名 为 generateMore() 的 函数 中 。 
2. 为 了 增加 获得 一 些 back-pressure 的 机 会 ， 我 们 将 数据 块 的 大 小 增加 
到 16KB-1Byte ， 这 非常 接近 默认 的 highwaterMark 限制 。 
3. 在 写 入 一 大 块 数据 之 后 ， 我 们 检查 res,write() 的 返回 值 。 如 果 它 返 
回 false ， 这 意味 着 内 部 buffer 已 满 ， 我 们 应 该 停止 发 送 更 多 的 数据 。 在 
这 种 情况 下 ， 我 们 从 函数 中 退出 ， 然 后 新 注册 一 个 写 入 事件 的 发 布 者 ， 
当 drain 事件 触发 时 调用 generateMore 。 


如 果 我 们 现在 尝试 再 次 运行 服务 器 ， 然 后 使 用 curl 生成 客户 端 请 求 ， 则 很 可 能 会 
有 一 些 back-pressure ， 因 为 服务 器 以 非常 高 的 速度 生成 数据 ， 速 度 其 至 会 比 底 
层 socket 更 快 。 

实现 可 写 入 的 Streams 


我 们 可 以 通过 继承 stream.Writable 类 来 实现 一 个 新 的 可 写 入 的 流 ， 并 
为 _write() 方法 提供 一 个 实现 。 实 现 一 个 我 们 自 定义 的 可 写 入 的 Streams 类 。 


让 我 们 构建 一 个 可 写 入 的 stream ， 它 接收 对 象 的 格式 如 下 : 


{ 
path: <path to a file> 


content: <string or buffer> 


} 


这 个 类 的 作用 是 这 样 的 : 对 于 每 一 个 对 象 ， 我 们 的 stream 必须 将 content 部 分 
保存 到 在 给 定 路 径 中 创建 的 文件 中 。 我 们 可 以 立即 看 到 ， 我 们 stream 的 输入 是 
对 象 ， 而 不 是 Strings 或 Buffers ， 这 意味 着 我 们 的 stream 必须 以 对 象 模 式 
工作 。 


调用 模块 toFilestream.js 


const stream = require(' stream ' ) ， 
Const fsas= requirel( fs ),; 

const path = require( path ' ) ， 
const mkdirp = require('mkdirp"'); 


class ToFileStream extends stream.Writable { 
constructor() { 


super(t{ 
objectMode: true 


}); 
} 


_write(chunk, encoding, callback) { 
mkdirp(path.dirname(chunk.path), err => { 
if (err) { 
return callback(err); 
} 


fs.writeFile(chunk.path, chunk.content, callback); 


}); 
} 


module.exports = ToFileSstream; 


作为 第 一 步 ， 我 们 加 载 所 有 我 们 所 需要 的 依赖 包 。 注 意 ， 我 们 需要 模块 mkdirp ， 
正如 你 应 该 从 前 几 音 中 所 知道 的 ， 它 应 该 使 用 npm 安装 。 


我 们 创建 了 一 个 新 类 ， 它 从 stream.Writable 扩展 而 来 。 


我 们 不 得 不 调用 父 构造 函数 来 初始 化 其 内 部 状态 ; 我 们 还 提供 了 一 个 option 对 象 
作为 参数 ， 用 于 指定 流 在 对 象 模式 下 工作 
( objectMode : true ) 。 stream.Writable 接受 的 其 他 选项 如 下 : 


e highwaterMark (默认 值 是 16KB ) : 控制 back-pressure 的 上 限 。 

e。 decodeStrings (默认 为 true ) :在 字符 串 传 递 给 _write() 方法 之 
前 ， 将 字符 串 自 动 解码 为 二 进 制 buffer 区 。 在 对 象 模式 下 这 个 参数 被 忽 
略 。 


最 后 ， 我 们 为 _write() 方法 提供 了 一 个 实现 。 正 如 你 所 看 到 的 ， 这 个 方法 接受 一 
个 数据 块 ， 一 个 编码 方式 (只 有 在 二 进 制 模式 下 ， stream 选 
项 decodeStrings 设置 为 false 时 才 有 意义 ) 。 


另外 ， 该 方法 接受 一 个 回调 函数 ， 该 函数 在 操作 完成 时 需要 调用 ; 而 不 必要 传递 操 
作 的 结果 ， 但 是 如 果 需 要 的 话 ， 我 们 仍然 可 以 传递 一 个 error 对 月 ， 这 将 导 
致 stream 触发 error 事件 。 


现在 ， 为 了 尝试 我 们 刚刚 构建 的 stream ， 我 们 可 以 创建 一 个 名 
为 writeToFile,js 的 新 模块 ， 并 对 该 流 执行 一 些 写 操作 : 


const ToFileStream = require('./toFileStream.js'); 
const tfs = new ToFileStream( ) ; 


tfs.write({path: “filei1.txt", content: "Hello"}); 
tfs.write({path: "file2.txt", content: "Node.js"}); 
tfs.write({path: "file3.txt", content: "Streams"}); 
tfs.end(() => console.log("Al]l] files created")); 


有 了 这 个 ， 我 们 创建 并 使 用 了 我 们 的 第 一 个 自 定义 的 可 写 入 流 。 像 往常 一 样 运行 新 
模块 来 检查 其 输出 ; 你 会 看 到 执行 后 会 创建 三 个 新 文件 。 


双重 的 Streams 


双重 的 stream 既是 可 读 的 ， 也 可 写 的 。 当 我 们 想 描 述 一 个 既是 数据 源 又 是 数据 
终点 的 实体 时 (例如 socket ) ， 这 就 显得 十 分 有 用 了 。 双 工 流 继 

承 stream.Readable 和 stream.Writable 的 方法 ， 所 以 它 对 我 们 来 说 并 不 新 
鲜 。 这 意味 着 我 们 可 以 read() 或 write() 数据 ， 或 者 可 以 监 

听 readable 和 drain 事件 。 


要 创建 一 个 自 定义 的 双重 stream ， 我 们 必须 为 read() 和 write() 提供 一 个 
实现 。 传 递 给 Duplex() 构造 函数 的 options 对 和 象 在 内 部 被 转发 

给 Readable 和 Writable 的 构造 了 数 。 options 参数 的 内 容 与 前 面 讨论 的 相 
同 ， options 增加 了 一 个 名 为 allowHalfopen 值 (默认 为 true ) ， 如 果 设 置 
为 false ， 则 会 导致 只 要 stream 的 一 方 ( Readable 和 Writable ) 结 

束 ， stream 就 结束 了 。 


为 了 使 双重 的 Stream 在 一 方 义 对 象 模式 工作 ， 而 在 另 一 方 以 二 进 制 模式 工作 ， 
我 们 需要 在 流 构造 器 中 手动 设置 以 下 属性 : 


this. writableState.objectMode 
this._readableState.objectMode 


转换 的 Streams 


转换 的 Streams 是 专门 设计 用 于 处 理 数据 转换 的 一 种 特殊 类 型 的 双 

重 Streams 。 

在 一 个 简单 的 双重 Streams 中 ， 从 stream 中 读 取 的 数据 和 写 入 到 其 中 的 数据 之 
间 没 有 直接 的 关系 (至 少 stream 是 不 可 知 的 ) 。 想 想 一 个 TCP socket ， 它 只 
是 向 远程 节点 发 送 数 据 和 从 远程 节点 接收 数据 。 TCP socket 自身 没有 意识 到 输 
入 和 输出 之 间 有 任何 关系 。 


下 图 说 明了 双重 Streams 中 的 数据 流 : 


Duplex stream 





另 一 方面 ， 转 换 的 Streams 对 从 可 写 入 端 接收 到 的 每 个 数据 块 应 用 某 种 转换 ， 然 
后 在 其 可 读 端 使 转换 的 数据 可 用 。 


下 图 显示 了 数据 如 何在 转换 的 Streams 中 流动 : 


Transform Stream 


旗 


_transform 





从 外 面 看 ， 转 换 的 Streams 的 接口 与 双重 Streams 的 接口 完全 相同 。 但 是 ， 当 
我 们 想 要 构建 一 个 新 的 双重 Streams 时 ， 我 们 必须 提 

供 _read() 和 write() 方法 ， 而 为 了 实现 一 个 新 的 变换 流 ， 我 们 必须 填写 另 一 
对 方法 : _transform() 和 flush() ) 。 


我 们 来 演示 如 何 用 一 个 例子 来 创建 一 个 新 的 转换 的 Streams 。 


实现 转换 的 Streams 


我 们 来 实现 一 个 转换 的 Streams ， 它 将 替换 给 定 所 有 出 现 的 字符 串 。 要 做 到 这 一 
点 ， 我 们 必须 创建 一 个 名 为 replaceStream.js 的 新 模块 。 让 我 们 直接 看 怎么 实 
现 它 


const stream = require('stream'); 
const util = require( util )， 


Class ReplaceStream extends stream.Transform { 
constructor(searchSstring, replaceSstring) { 
super(); 


this.searchSstring = searchString; 
this.replaceString = replaceString; 


this.tailPiece = ''，; 

} 

_transform(chunk, encoding, callback) { 
const pieces = (this.tailPiece + chunk) yA 

.Split(this.searchstring); 

const lastPiece = pieces[pieces.length - 1]; 
const tailpieceLen = this.searchString. length - 1; 
this.tailPiece = lastPiece.slice(-tailPieceLen); WY 2 
pieces[pieces.length - 1] = lastPiece.slice(0,-tailPpieceLen) 
this.push(pieces.join(this.replaceString)); HLS 
callback( ); 

} 


_flush(callback) { 
this.push(this. tailpPiece); 
callback( ); 


} 
} 


module.exports = ReplaceStream; 


与 往常 一 样 ， 我 们 将 从 其 依赖 项 开始 构建 模块 。 这 次 我 们 没有 使 用 第 三 方 模块 。 


然后 我 们 创建 了 一 个 从 stream.Transform 基 类 继承 的 新 类 。 该 类 的 构造 函数 接 
受 两 个 参数 : searchstring 和 replaceString 。 正如 你 所 想象 的 那样 ， 它 们 
允许 我 们 定义 要 匹配 的 文本 以 及 用 作 替 换 的 字符 串 。 我 们 还 初始 化 一 个 将 

由 _transform() 方法 使 用 的 tailPiece 内 部 变量 。 


现在 ， 我 们 来 分 析 一 下 _transform() 方法 ， 它 是 我 们 新 类 的 核 
心 。 _transform() 方法 与 可 写 入 的 stream 的 _write() 方法 具有 几乎 相同 的 
格式 ， 但 不 是 将 数据 写 入 底层 资源 ， 而 是 使 用 this.push() 将 其 推 入 内 


部 buffer ， 这 与 我 们 会 在 可 读 流 的 _read() 方法 中 执行 。 这 显示 了 转换 
的 Streams 的 双方 如 何 实际 连接 。 


ReplaceStream 的 _transform() 方法 实现 了 我 们 这 个 新 类 的 核心 。 正 常情 况 
下 ， 搜 索 和 替换 buffer 区 中 的 字符 串 是 一 件 容 易 的 事情 ; 但 是 ， 当 数据 流 式 传输 
时 ， 情 况 则 完全 不 同 ， 可 能 的 匹配 可 能 分 布 在 多 个 数据 块 中 o 代码 后 面 的 程序 可 以 
解释 如 下 


我 们 的 算法 使 用 searchstring 函数 作为 分 隔 符 来 分 割 块 。 

2 然后 ， 它 取出 0 lastPiece ， 并 提取 其 最 后 一 个 
字符 searchstring.length - 1。 结 告 果 被 保存 到 tailPiece 变量 中 ， 它 六 
会 被 作为 下 一 个 数据 块 的 前 级 。 

3. 最 后 ， 所 有 从 split() 得 到 的 片段 用 replaceString 作为 分 隔 符 连接 在 一 
起 ， 并 推 入 内 部 buffer 区 。 


当 stream 结束 时 ， 我 们 可 能 仍然 有 最 后 一 个 tailPiece 变量 没有 被 压 入 内 部 缓 
冲 区 。 这 正 是 _flush( ) 方法 的 用 途 ; 它 在 stream 结束 之 前 被 调用 ， 并 且 这 w 
我 们 最 终 有 机 会 完成 流 或 者 在 完全 结束 流 之 前 推送 任何 剩余 数据 的 地 方 。 


_flush() 方法 只 需要 一 个 回调 函数 作为 参数 ， 当 所 有 的 操作 完成 后 ， 我 们 必须 确 
保 调 用 这 个 回调 函数 。 完 成 了 这 个 ， 我 们 已 经 完成 了 我 们 的 _ ReplaceStream 类 。 


现在 ， 是 时 候 尝 试 新 的 stream 。 我 们 可 以 创建 另 一 个 名 
为 replaceStreamTest.js 的 模块 来 写 入 一 些 数据 ， 然 后 读 取 转换 的 结果 : 


菇 


const ReplaceStream = require('./replaceStream'); 


const rs = new ReplaceSstream('World', 'Node,js' )， 
rs.on('data', chunk => console.log(chunk.toString())); 


rs.write('Hello W'); 
rs.write('orld!'); 
rs.end(); 


为 了 使 得 这 个 例子 更 复杂 一 些 ， 我 们 把 搜索 词 分 布 在 两 个 不 同 的 数据 块 上 ; 然后 ， 
使 用 flowing 模式 ， ， 我 们 从 同一 个 stream 中 读 取 数据 ， 记录 每 个 已 转换 的 块 ° 
运行 前 面 的 程序 应 该 产生 以 下 输出 : 


Hel 
Jo Node.js 
! 


有 一 个 值得 提 及 是 ， 第 五 种 类 型 的 stream : stream.PassThrough。 与 我 们 介 

绍 的 其 他 流 类 不 同 ， PassThrough 不 是 抽象 的 ， 可 以 直接 实例 化 ， 而 不 需 和 
现任 何方 法 。 实 际 上 ， 这 是 一 个 可 转换 的 stream， 它 可 以 输出 每 个 数据 块 ， 
不 需要 进行 任何 转换 。 


使 用 管道 连接 Streams 


Unix 管道 的 概念 是 由 a Mcllroy 发 明 的 ; 这 使 程序 的 输出 能 够 连接 到 下 
一 个 的 输入 。 看 看 下 面 的 命 


echo Hello World! | sed s/World/Node.js/g 


在 前 面 的 命令 中 ， echo 会 将 Hello World! 写 入 标准 输出 ， 然 后 被 重 定向 
到 sed 命令 的 标准 输入 (因为 有 管道 操作 符 | ) 。 然 后 sed 用 Node.js 替换 
任何 World ， 并 将 结果 打印 到 它 的 标准 输出 (这 次 是 控制 台 ) 。 


以 类 似 的 方式 ， 可 以 使 用 可 读 的 Streams 的 pipe() 方法 
将 Node.js 的 Streams 连接 在 一 起 ， 它 具有 以 下 接口 : 


readable.pipe(writable, [options]) 


非常 直观 地 ， pipe() 方法 将 从 可 读 的 Streams 中 发 出 的 数据 抽取 到 所 提供 的 可 
写 入 的 Streams 中 。 另外 ， 当 可 读 的 Streams 发 出 end 事件 (除非 我 们 指 

定 {end : false} 作为 options ) 时 ， 可 写 入 的 Streams 将 自动 结束 。 

pipe() 方法 返回 作为 参数 传递 的 可 写 入 的 Streams ， 如 果 这 样 的 stream 也 是 
可 读 的 〈 例 如 双重 或 可 转换 的 Streams ) ， 则 允许 我 们 创建 链 式 调用 。 


将 两 个 Streams 连接 到 一 起 时 ， 则 允许 数据 自动 流向 可 写 入 的 Streams ， 所 以 
不 需要 调用 read() 或 write() 方法 ; 但 最 重要 的 是 不 需要 控 
制 back-pressure ， 因 为 它 会 自动 处 理 。 


举 个 简单 的 例子 〈 将 会 有 大 量 的 例子 ) ， 我 们 可 以 创建 一 个 名 为 replace.js 的 
新 模块 ， 它 接受 来 自 标准 输入 的 文本 流 ， 应 用 替换 转换 ， 然 后 将 数据 返回 到 标准 输 
出 : 


const ReplaceStream = require('./replaceStream' ) ; 

process ,stdin 
.pipe(new ReplaceStream(process.argv[2], process.argv[3])) 
.pipe(process.stdout); 


上 述 程 序 将 来 自 标 准 输入 的 数据 传送 到 ReplaceStream ， 然 后 返回 到 标准 输出 。 
现在 ， 为 了 实践 这 个 小 应 用 程序 ， 我 们 可 以 利用 Unix 管道 将 一 一 些 数据 重 定向 到 它 
的 标准 输入 ， 如 下 所 示 : 


echo Hello World! | node replace World Node ,js 


运行 上 述 程序 ， 会 输出 如 下 结果 : 


Hello Node.js 


这 个 简单 的 例子 演示 了 Streams (特别 是 文本 Streams ) 是 一 个 通用 接口 ， 管 
道 几乎 是 构成 和 连接 所 有 这 些 接口 的 通用 方式 。 


error 事件 不 会 通过 管道 自动 传播 。 举 个 例子 ， 看 如 下 代码 片段 : 


stream1 
.pipe(stream2) 
.oNn('error', function() 人 ); 


在 前 面 的 链 式 调用 中 ， 我 们 将 只 捕获 来 自 stream2 的 错误 ， 这 是 由 于 我 们 给 
其 添加 了 erorr 事件 侦 听 器 。 这 意味 着 ， 如 果 我 们 想 捕 获 从 stream1 生成 
的 任何 错误 ， 我 们 必须 直接 附加 另 一 个 错误 侦 听 器 。 稍 后 我 们 将 看 到 一 种 可 以 
实现 共同 错误 捕获 的 另 一 种 模式 〈 合 并 Streams ) 。 此 外 ， 我 们 应 该 注意 
到 ， 如 果 目 标 Streams ( 读 取 的 Streams ) 发 出 错误 ， 它 将 会 对 

源 Streams 通知 一 个 error ， 之 后 导致 管道 的 中 断 。 


Streams 如 何 通过 管道 


到 目前 为 止 ， 我 们 创建 自 定义 Streams 的 方式 并 不 完全 遵循 Node 定义 的 模式 ; 
实际 上 ， 从 stream 基 类 继承 是 违反 small surface area 的 ， 并 需要 一 些 示例 
代码 。 这 并 不 意味 着 Streams 设计 得 不 好 ， 实 际 上 ， 我 们 不 应 该 忘记 ， 

为 Streams 是 Node.js 核心 的 一 部 分 ， 所 以 它们 必须 尽 可 能 地 灵活 ， 广 泛 拓 

展 Streams 以 致 于 用 户 级 模块 能 够 将 它们 充分 运用 。 

然而 ， 大 多 数 情 况 下 ， 我 们 并 不 需要 原型 继承 可 以 给 予 的 所 有 权力 和 可 扩展 性 ， 但 
通常 我 们 想 要 的 仅仅 是 定义 新 Streams 的 一 种 快速 开发 的 模式 。 Node.js 社区 
当然 也 为 此 创建 了 一 个 解决 方案 。 一 个 完美 的 例子 是 through2， 一 个 使 得 我 们 可 以 
简单 地 创建 转换 的 Streams 的 小 型 库 。 通 过 through2 ， 我 们 可 以 通过 调用 一 
个 简单 的 函数 来 创建 一 个 新 的 可 转换 的 Streams 


const transform = through2([options]，[_ transform]，[_flush] )， 
类 似 的 ，from2 也 允许 我 们 像 下 面 这 样 创 建 一 个 可 读 的 Streams 


const readable = from2([options], _read); 


接 下 来 ， 我 们 将 在 本 章 其 余部 分 展示 它们 的 用 法 ， 那 时 ， 我 们 会 清楚 使 用 这 些小 型 
库 的 好 处 。 


through 和 from 是 基于 Streaml 规范 的 顶层 库 。 


基于 Streams 的 异步 控制 流 


通过 我 们 已 经 介绍 的 例子 ， 应 该 清楚 的 是 ， Streams 不 仅 可 以 用 来 处 
机 we a a 贰 式 。 但 优点 并 不 止 这 
还 可 以 利用 Streams 来 实现 异步 控制 流 ， 在 本 节 将 会 看 到 。 


顺序 执行 


默认 情况 下 ， Streams 将 按 顺 序 处 理 数据 ; 例如 ， 和 转换 

的 Streams 的 _transform() 有 也 数 在 前 一 个 数据 块 执行 callback() 之 后 才 会 
进行 下 一 块 数据 块 的 调用 。 这 是 Streams 的 一 个 重要 属性 ， 按 正确 顺序 处 理 每 个 
数据 块 至 关 重 要 ， 但 是 也 可 以 利用 这 一 属性 将 Streams 实现 优雅 的 传统 控制 流 模 
二 


代码 总 是 比 太 多 的 解释 要 好 得 多 ， 所 以 让 我 们 来 演示 一 下 如 何 使 用 流 来 按 顺序 执行 
弄 步 任务 的 例子 。 让 我 们 创建 一 个 函数 来 连接 一 组 接收 到 的 文件 作为 输入 ， 确 保 尊 
守 提 供 的 顺序 。 我 们 创建 一 个 名 为 concatFiles.js 的 新 模块 ， 并 从 其 依赖 开 
始 : 


const fromArray = require('from2-array'); 
const through = require( through2 ' ) ， 
const fs = require( fs )， 


我 们 将 使 用 through2 来 简化 转换 的 Streams 的 创建 ， 并 使 用 from2-array 从 
一 个 对 象 数 组 中 创建 可 读 的 Streams 。 接 下 来 ， 我 们 可 以 定 
义 concatFiles() 函数 : 


function concatFiles(destination, files, callback) { 
const destStream = fs.createWriteStream(destination); 
fromArray .obj(files) WA 
.pipe(through.obj((file, enc, done) => { /lal 
const Src = fs.createReadStream(file); 
src.pipe(destStream, {end: false}); 
src.on('end', done); //[3] 


})) 

.on('finish', () => { shld 
destStream.end(); 
callback( ); 

}); 


} 


module.exports = concatFiles; 


前 面 的 防 数 通过 将 files 数组 转换 为 Streams 来 实现 对 files 数组 的 顺序 和 迭 
代 。 该 函数 所 遵循 的 程序 解释 如 下 


~ 


. 首先， 我 们 使 用 from2-array 从 files 数组 创建 一 个 可 读 的 Streams 。 

2. 接 下 来 ， 我 们 使 用 through 来 创建 一 个 转换 的 Streams 来 处 理 序列 中 的 每 
个 文件 。 对 于 每 个 文件 ， 我 们 创建 一 个 可 读 的 Streams ， 并 通过 管道 将 其 输 
入 到 表示 输出 文件 的 destStream 中 。 在 源 文件 完成 读 取 后 ， 通 过 
在 pipe() 方法 的 第 二 个 参数 中 指定 {end : false} ， 我 们 确保 不 关 
同 destStream 。 

3， 当 源 文件 的 所 有 内 容 都 被 传送 到 destStream 时 ， 我 们 调用 through.obj 公 
开 的 done 有 子 数 来 传递 当前 处 理 已 经 完成 ， 在 我 们 的 情况 下 这 是 需要 触发 处 理 
A 

4. 所 有 文件 处 理 完 后 ， finish 事件 被 触发 。 我 们 最 后 可 以 结 

束 destStream 并 调用 concatFiles() 的 callback() 函数 ， 这 个 函数 表 

示 整 个 操作 的 完成 。 


我 们 现在 可 以 尝试 使 用 我 们 刚刚 创建 的 小 模块 。 让 我 们 创建 一 个 名 
为 concat ,js 和 


const concatFiles = require('./concatFiles'); 


concatFiles(process.argv[2], process.argv.slice(3), () => { 
console.log('Files concatenated successfully'); 


}r))p 


我 们 现在 可 以 运行 上 述 程序 ， 将 目标 文件 作为 第 一 个 命令 行 参 数 ， 接 着 是 要 连接 的 
文件 列表 ， 例 如 : 


node concat allTogether.txt filel1.txt file2 .txt 


执行 这 一 条 命令 ， 会 创建 一 个 名 为 allTogether.txt 的 新 文件 ， 其 中 按 顺序 保 
存 filel.txt 和 file2.txt 的 内 容 。 


使 用 concatFiles() 函数 ， 我 们 能 够 仅 使 用 Streams 实现 异步 操作 的 顺序 执 
行 。 正 如 我 们 

在 Chapter3 Asynchronous Control Flow Patters with callbacks 中 看 到 
的 那样 ， 如 果 使 用 纯 JavaScript 实现 ， 或 者 使 用 async 等 外 部 库 ， 则 需要 使 用 
或 实现 迭代 器 。 我 们 现在 提供 了 另外 一 个 可 以 达 到 同样 效果 的 方法 ， 正如 我 们 所 看 
到 的 ， 它 的 实现 方式 非常 优雅 且 可 读 性 高 。 


模式 : 使 用 Streams 或 Streams 的 组 合 ， 可 以 轻松 地 按 顺 序 饥 历 一 组 异步 任务 。 
无 序 并 行 执 行 
我 们 刚刚 看 到 tn 按 顺 序 处 理 每 个 数据 块 ， 但 有 时 这 可 能 并 不 能 这 么 做 ， 


为 这 样 并 没有 充分 利用 Node.js 的 并 发 性 。 如 果 我 们 必须 对 每 个 数据 块 执行 一 个 
缓慢 的 异步 操作 ， 那 么 并 行 化 执行 这 一 组 异步 任务 完全 是 有 必要 的 。 当 然 ， 只 有 在 


每 个 数据 块 之 间 没 有 关系 的 情况 下 才能 应 用 这 种 模式 ， 这 些 数据 块 可 能 经 常 发 生 在 
对 象 模式 的 Streams 中 ， 但 是 对 于 二 进 制 模式 的 Streams 很 少 使 用 无 序 的 并 行 
执行 。 

注意 : 当 处 理 数据 的 顺序 很 重要 时 ， 不 能 使 用 无 序 并 行 执 行 的 Streams。 


为 了 并 行 化 一 个 可 转换 的 Streams 的 执行 ， 我 们 可 以 运 

用 Chapter3 Asynchronous Control Flow Patters with callbacks 所 讲 到 
的 无 序 并 行 执 行 的 相同 模式 ， 然 后 做 出 一 些 改变 使 它们 适用 于 Streams 。 让 我 们 
看 看 这 是 如 何 更 改 的 。 


实现 一 个 无 序 并 行 的 Streams 


让 我 们 用 一 个 例子 直接 说 明 : 我 们 创建 一 个 叫做 parallelStream.js 的 模块 ， 然 
后 自 定义 一 个 普通 的 可 转换 的 Streams ， 然 后 给 出 一 系列 可 转换 流 的 方法 : 


const stream = require('stream'); 


class ParallelStream extends stream.Transform { 
constructor(userTransform) { 
super({objectMode: true}); 
this.userTransform = userTransform; 
this.running = 0; 
this.terminateCallback = null; 


} 


_transform(chunk, enc, done) { 
this.running++; 
this.userTransform(chunk, enc, this._onComplete.bind(this), 
this.push.bind(this)); 
done( ); 


} 


_fjush(done) { 
if(this.running > 0) { 
this.terminateCallback = done; 
} else { 
done( ); 
} 
} 


_onComplete(err) { 
this.running--; 
if(err) 并 
return this.emit('error', err); 


} 
if(this.running === 0) { 

this.terminateCallback && this.terminateCallback(); 
} 


} 
} 


module.exports = ParallelStream; 


我 们 来 分 析 一 下 这 个 新 的 自 定义 的 类 。 正 如 你 所 看 到 的 一 样 ， 0 
个 ere eg 函数 作为 参数 ， 然 后 将 其 另存 为 一 个 实例 变量 ; 我 们 也 调用 
父 构 造 函 数 ， 并 且 我 们 默认 局 用 对 象 模式 。 


接 下 来 ， 来 看 _transform( ) 方法 ， 在 这 个 方法 中 ， 我 们 执 

行 userTransform() 函数 ， 然 后 增加 当前 正在 运行 的 任务 个 数 ; 最 后 ， 我 们 通过 
调用 done() 来 通知 当前 转换 步骤 已 经 完成 。 _transform() 方法 展示 了 如 何 并 
行 处 理 另 一 项 任务 。 我 们 不 用 等 待 userTransform() 方法 执行 完毕 再 调 

用 done() 。 相反 ， 我 们 立即 执行 done() 方法 。 另 一 方面 ， 我 们 提供 了 一 个 特 
殊 的 回调 函数 给 userTransform() 方法 ， 这 就 是 this._onComplete() 方法 ; 
以 便 我 们 在 userTransform() 完成 的 时 候 收 到 通知 。 


在 Streams 终止 之 前 ， 会 调用 _flush() 方法 ， 所 以 如 果 仍 有 任务 正在 运行 ， 我 
们 可 以 通过 不 立即 调用 done() 回调 元 数 来 延迟 finish 事件 的 触发 。 相 反 ， 我 

们 将 其 分 配给 this.terminateCcallback 变量 。 为 了 理解 Streams 如 何 正 确 终 

止 ， 来 看 _onCcomplete() 方法 。 


在 每 组 异步 任务 最 终 完 人 会 检 本 二 
否 有 任务 正在 运行 ， 如 果 没 有 ， 则 调用 this.terminateCallback() 函数 ， 这 将 
导致 Streams 结束 ， ， 航 发 _flush() 方法 的 finish 事件 。 


利用 刚刚 构建 的 ParallelStream 类 可 以 轻松 地 创建 一 个 无 序 并 行 执行 的 可 转换 
的 Streams 实例 ， 但 是 有 个 注意 : 它 不 会 保留 项 目 接收 的 顺序 。 实 际 上 ， 异 步 操 
作 可 以 在 任何 时 候 都 有 可 能 完成 并 推送 数据 ， 而 跟 它 们 开始 的 时 刻 ] 并 没有 必 然 的 联 
系 。 因 此 我 们 知道 ， 对 于 二 进 制 模式 的 Streams 并 不 适用 ， 因 为 二 进 制 

的 Streams 对 顺序 要 求 较 高 。 


实现 一 个 URL 监 控 应 用 程序 


现在 ， 让 我 们 使 用 parallelStream 模块 实现 一 个 具体 的 例子 。 让 我 们 想象 以 下 
我 们 想 要 构建 一 个 简单 的 服务 来 监控 一 个 大 URL 列表 的 状态 ， 让 我 们 想象 以 下 ， 
所 有 的 这 些 URL 包含 在 一 个 单独 的 文件 中 ， 并 且 每 一 个 URL 占据 一 个 空 行 。 


Streams 能 够 为 ed 。 特 别 是 当 我 们 使 用 我 
们 刚刚 写 的 ParallelStream 类 来 无 序 地 审核 这 些 URL 。 


接 下 来 ， 让 我 们 创建 一 个 简单 的 放 在 checkUrls.js 模块 的 应 用 程序 。 


const fs = require('fs'); 

const split = require('split"'); 

const request = require( request ' ) ， 

const ParallelStream = require('./parallelStream' ) ， 


fs.createReadStream(process.argv[2]) oA a 
‘Pipe(split()) 242 
.pipe(new ParallelStream((url, enc, done, push) => { ZE 


if(!url) return done(); 

request.head(url, (err, response) => { 
push(umle se (en 2adoNno vu Nm oO 
done( ); 


.pipe(fs.createwWriteStream('results.txt')) 0 也 可 
.OnNn('finish', () => console.log('All urls were checked ' ) ) 


正如 我 们 所 看 到 的 ， 通 过 流 ， 我 们 的 代码 看 起 来 非常 优雅 ， 直 观 。 让 我 们 看 看 它 是 
如 何 工 作 的 : 


1. 首先 ， 我 们 通过 给 定 的 文件 参数 创建 一 个 可 读 的 Streams ， 便 于 接 下 来 读 取 
文件 。 


2. 我 们 通过 split 将 输入 的 文件 的 Streams 的 内 容 输出 一 个 可 转换 的 Streams 到 
管道 中 ， 并 且 分 隔 了 数据 块 的 每 一 行 。 

3. 然后 ， 是 时 候 使 用 我 们 的 _ ParallelStream 来 检查 URL 了 ， 我 们 发 送 一 
个 HEAD 请 求 然后 等 待 请 求 的 response 。 当 请 求 返回 时 ， 我 们 把 请 求 的 结 
果 | 出 stream 中 。 

4. 最后， 管道 把 结果 保存 到 results,txt 文件 中 。 


node checkUrls urlList.txt 


这 里 的 文件 urlList ,txt 包含 一 组 URL ， 例 如 


e http://www.mariocasciaro.me/ 
e http://loige.co/ 
e http://thiswillbedownforsure.com/ 


当 应 用 执行 完成 后 ， 我 们 可 以 看 到 一 个 文件 results .txt 被 创建 ， 里 面包 含有 操 
作 的 结果 ， 例 如 : 


e http://thiswillbedownforsure.com is down 
e http://loige.co is up 
e http://www.mariocasciaro.me is up 


输出 的 结果 的 顺序 很 有 可 能 与 输入 文件 中 指定 URL 的 顺序 不 同 。 这 
是 Streams 无 序 并 行 执行 任务 的 明显 特征 。 


出 于 好 奇 ， 0 尝试 用 一 个 正常 NA 换 ParallelStream， 并 比 
较 两 者 的 行为 和 性 能 (你 可 能 想 这 样 做 的 一 个 练习 ) 。 我 们 将 会 看 到 ， 使 用 
through2 的 方式 会 比较 慢 ， 因 为 每 个 URL 都 将 按 顺序 进行 检查 ， 而 且 文 件 
results.txt 中 结果 的 顺序 也 会 被 保留 。 


无 序 限制 并 行 执行 


如 果 运 行 包 含 数 千 或 数 百 万 个 URL 的 文件 的 ey 应 用 程序 ， 我 们 肯定 会 遇 
到 麻烦 。 我 们 的 应 用 程序 将 同时 创 | 建 不 受 控制 的 连接 数量 ， 并 行 发 送 大 量 数据 ， 并 
可 能 破坏 应 用 程序 的 稳定 性 和 整个 系统 的 可 用 性 。 我 们 已 经 知道 ， 控 制 负载 的 无 序 
限制 并 行 执行 是 一 个 极 好 的 解决 方案 。 


让 我 们 通过 创建 一 个 lijmitedParallelStream.js 模块 来 看 看 它 是 如 何 工作 的 ， 
这 个 模块 是 改编 自 上 一 节 中 创建 的 parallelStream.js 模块 。 


让 我 们 看 看 它 的 构造 函数 : 


class LimitedParallelStream extends stream.Transform { 
constructor(concurrency, userTransform) { 

super({objectMode: true}); 
this.concurrency = concurrency; 
this.userTransform = userTransform; 
this.running = 0; 
this.terminateCcallback = null; 
this.continueCallback = null; 


我 们 需要 一 个 concurrency 变量 作为 输入 来 限制 并 发 量 ， 这 次 我 们 要 保存 两 个 回 
调 函 数 ， continueCcallback 用 于 任何 挂 起 的 _transform 方 

法 ， terminatecallback 用 于 _ flush 方法 的 回调 。 接 下 来 看 _transform() 方 
法 : 


_transform(chunk, enc, done) { 
this.running++; 
this.userTransform(chunk, enc, this.push.bind(this), this._on 
Complete.bind(this)); 
if(this.running < this.concurrency) { 
done( ); 
} else { 
this.continueCallback = done; 
} 
} 


这 次 在 _transform() 方法 中 ， 我 们 必须 在 调用 done() 之 前 检查 是 否 达 到 了 最 
大 并 行 数量 的 限制 ， 如 果 没 有 达到 了 限制 ， 才 能 触发 下 一 个 项 目的 处 理 。 如 果 我 们 
已 经 达到 最 大 并 行 数量 的 限制 ， 我 们 可 以 简单 地 将 done() 回调 保存 

到 continueCallback 变量 中 ， 以 便 在 任务 完成 后 立即 调用 它 。 


_flush() 方法 与 ParallelStream 类 保持 完全 一 样 ， 所 以 我 们 直接 转 到 实 
现 _onComplete() 方法 : 


_onComplete(err) { 
this.running--; 
if(err) { 
return this.emit('error', err); 


const tmpCallback = this.continueCallback; 
this.continueCallback = null; 
tmpCallback && tmpCallback(); 
if(this.running === 0) { 
this.terminateCallback && this.terminateCallback( ); 


} 
} 


每 当 任务 完成 ， 我 们 调用 任何 已 保存 的 continueCallback() 将 导致 stream 解 
锁 ， 触 发 下 一 个 项 目的 处 理 。 


这 就 是 LimitedParallelStream 模块 。 我 们 现在 可 以 在 checkUrls 模块 中 使 
用 它 来 代替 parallelStream ， 并 且 将 我 们 的 任务 的 并 发 限制 在 我 们 设置 的 值 
BE 


顺序 并 行 执 行 


我 们 以 前 创建 的 并 行 Streams 可 能 会 使 得 数据 的 顺序 混乱 ， 但 是 在 某 些 情况 下 这 
是 不 可 接受 的 。 有 时 ， 实 际 上 ， 有 那 种 需要 每 个 数据 块 都 以 接收 到 的 相同 顺序 发 出 
的 业务 场景 。 我 们 仍然 可 以 并 行 运行 transform 函数 。 我 们 所 要 做 的 就 是 对 每 个 
任务 发 出 的 数据 进行 排序 ， 使 其 遵循 与 接收 数据 相同 的 顺序 。 


这 种 技术 涉及 使 用 buffer ， 在 每 个 正在 运行 的 任务 发 出 时 重新 排序 块 。 为 简洁 起 
见 ， 我 们 不 打算 提供 这 样 一 个 stream 的 实现 ， 因 为 这 本 书 的 范围 是 相当 宛 长 的 ; 
我 们 要 做 的 就 是 重用 为 了 这 个 特定 目的 而 构建 的 npm 上 的 一 个 可 用 包 ， 例 如 
through2-parallel 。 


我 们 可 以 通过 修改 现 有 的 checkUrls 模块 来 快速 检查 一 个 有 序 We 
为 。 假设 我 们 希望 我 们 的 结果 按照 与 输入 文件 中 的 URL 相同 的 顺序 编写 。 我 们 可 
以 使 用 通过 through2-parallel 来 实现 : 


const fs = require('fs'); 

const split = require('split"'); 

const reduest = require( request ' ) ; 

const throughParallel = require('through2-parallel'); 


fs.createReadStream(process.argv[2]) 
‘pipe(split()) 
.pipe(throughParallel.obj({concurrency: 2}, function (url, enc 
onede 
if(!url) return done(); 
request.head(url, (err, response) => { 
this.push(url + ' is + (err ? 'down' : 'Up') + '\n'); 
uone (oy 


,pipe(fs.createwriteStream( 'results.txt' )) 
.oNn('finish', () => console.log('All urls were checked ' ) ) 


正如 我 们 所 看 到 的 ， through2-parallel 的 接口 与 through2 的 接口 非常 相 
似 ; 唯一 的 不 同 是 在 through2-parallel 还 可 以 为 我 们 提供 的 transform 有 函数 
指定 一 个 并 发 限制 。 如 果 我 们 尝试 运行 这 个 新 版 本 的 checkUrls ， 我 们 会 看 

到 results.txt 文件 列 出 结果 的 顺序 与 输入 文件 中 URLs 的 出 现 顺 序 是 一 样 的 。 


通过 这 个 ， 我 们 总 结 了 使 用 Streams 实现 异步 控制 流 的 分 析 ; 接 下 来 ， 我 们 研究 
管道 模式 。 


管道 模式 


就 像 在 现实 生活 中 一 样 ， Node.js 的 Streams 也 可 以 按照 不 同 的 模式 进行 管道 
连接 。 事 实 上 ， 我 们 可 以 将 两 个 不 同 的 Streams 合并 成 一 个 Streams ， 将 一 

个 Streams 分 成 两 个 或 更 多 的 管道 ， 或 者 根据 条 件 重 定向 流 。 在 本 节 中 ， 我 们 将 
探讨 可 应 用 于 Node.js 的 Streams 最 重要 的 管道 技术 。 


组 合 的 Streams 


在 本 章 中 ， 我 们 强调 Streams 提供 了 一 个 简单 的 基础 结构 来 模块 化 和 重用 我 们 的 
代码 ， 但 是 却 漏 掉 了 一 个 重要 的 部 分 : 如 果 我 们 想 要 模块 化 和 重用 整个 流水 线 ? 如 
果 我 们 想 要 合并 多 个 Streams ， 使 它们 看 起 来 像 外 部 的 Streams ， 那 该 怎么 

办 ?下 图 显示 了 这 是 什么 











Stream A Stream C 





从 上 图 中 ， 我 们 看 到 了 如 何 组 合 几 个 流 的 了 : 


e@ 当 我 们 写 入 组 合 的 Streams 的 时 候 ， 实 际 上 我 们 是 写 入 组 合 的 Streams 的 
第 一 个 单元 ， 即 StreamA 。 

e@ 当 我 们 从 组 合 的 Streams 中 读 取 信息 时 ， 实 际 上 我 们 从 组 合 的 Streams 的 
最 后 一 个 单元 中 读 取 。 


一 个 组 合 的 Streams 通常 是 一 个 多 重 的 Streams ， 通 过 连接 第 一 个 单元 的 写 入 
端 和 连接 最 后 一 个 单元 的 读 取 端 。 


要 从 两 个 不 同 的 Streams (一 个 可 读 的 Streams 和 一 个 可 写 入 的 Streams) 中 创 
建 一 个 多 重 的 Streams， 我 们 可 以 使 用 一 个 npm 模 块 ， 例 如 duplexer2 。 


但 上 述 这 么 做 并 不 完整 。 实 际 上 ， 组 合 的 Streams 还 应 该 做 到 捕获 到 管道 中 任意 

一 段 Streams 单元 产生 的 错误 。 我 们 已 经 说 过 ， 任 何 错 误 都 不 会 自动 传播 到 管道 
中 。 所 以 ， 我 们 必须 有 适当 的 错误 管理 ， 我 们 将 不 得 不 显 式 附加 一 个 错误 监听 器 到 
每 个 Streams 。 但 是 ， 组合 的 Streams 实际 上 是 一 个 黑金， 这 意味 着 我 们 无 法 

访问 管道 中 间 的 任何 单元 ， 所 以 对 于 管道 中 任意 单元 的 异常 捕获 ， 组 合 

的 Streams 也 充当 聚合 器 的 角色 。 


总 而 言 之 ， 组 合 的 Streams 具有 两 个 主要 优点 : 
@ 管道 内 部 是 一 个 黑 盒 ， 对 使 用 者 不 可 见 。 
e@ 简化 了 错误 管理 ， 因 为 我 们 不 必 为 管道 中 的 每 个 单元 附加 一 个 错误 侦 听 器 ， 而 
只 需要 给 组 合 的 Streams 自 身 附加 上 就 可 以 了 o 
组 合 的 Streams 是 一 个 非常 通用 和 普遍 的 做 法 ， 所 以 如 果 我 们 没有 任何 特殊 的 需 
要 ， 我 们 可 能 只 想 重 用 现 有 的 解决 方案 ， 如 multipipe 或 combine-stream 。 
实现 一 个 组 合 的 Streams 
为 了 说 明 一 个 简单 的 例子 ， 我 们 来 考虑 下 面 两 个 组 合 的 Streams 的 情况 : 


。 压缩 和 加 密 数 据 
。 解压 和 解密 数据 


使 用 诸如 multipipe 之 类 的 库 ， 我 们 可 以 通过 组 合 一 些 核心 库 中 已 有 
的 Streams (文件 combinedStreams.js ) 2 地 构建 组 合 的 Streams 


const zl1ib = require('z1ib"); 
const crypto = require('crypto'); 
const combine = require('multipipe'); 
module.exports.compressAndEncrypt = password => { 
return combine( 
zlib.createGzip(), 
crypto.createCipher('aes192', password) 
/ 
}; 
module.exports.decryptAndDecompress = password => { 
return combinel(l 
crypto.createDecipher('aes192', password), 
zlib.createGunzip() 
); 
}; 


例如 ， a 这 些 组 合 的 数据 流 ， 如 同 黑 盒 ， 这 些 对 我 们 均 是 不 可 见 
的 ， 可 以 创建 一 个 小 型 应 用 程序 ， 通 过 压缩 和 加 密 来 归档 文件 。 让 我 们 在 一 个 名 
为 archive.js 0 件 事 : 


const fs = require('fs'); 

const compressAndEncryptStream = require('./combinedStreams').co 

mpressAndEncrypt; 

fs.createReadStream(process.argv[3]) 
.pipe(compressAndEncryptStream(process.argv[2])) 
.pipe(fs.createwWriteSstream(process.argv[3] + ".gz.enc")); 


我 们 可 以 通过 从 我 们 创建 的 流水 线 中 构建 一 个 组 合 的 Stream 来 进一步 改进 前 面 的 
代码 ， 但 这 次 并 不 只 是 为 了 获得 对 外 不 可 见 的 黑 盒 ， 而 是 为 了 进行 异常 捕获 。 实际 
上 ， 正 如 我 们 已 经 提 到 过 的 那样 ， 写 下 如 下 的 代码 只 会 捕获 最 后 一 个 Stream 单元 
发 出 的 错误 : 


fs.createReadStream(process.argv[3]) 
.pipe(compressAndEncryptStream(process.argv[2])) 
a Ze me 
:ONn('error', function(err) { 
YN 只 会 铺 多 最 后 一 个 单元 和 错误 
console.log(err); 


}); 


但 是 ， 通 过 把 所 有 的 Streams 结合 在 一 起 ， 我 们 可 以 优雅 地 解决 这 个 问题 。 重 构 
后 的 archive.js 如 下 : 


const combine = require('multipipe'); 

const fs = require('fs'); 

const compressAndEncryptStream = 
require('./combinedStreams').compressAndEncrypt,; 

Combine( 
fs.createReadStream(process.argv[3]) 
.pipe(compressAndEncryptStream(process.argv[2])) 
Se | + ".gz.enc")) 

).on('error', err => { 
// 使 用 组 合 的 Stream 可 以 捕获 任 ; 总 位 置 的 错误 
console.log(err); 


}); 


正如 我 们 所 看 到 的 ， 我 们 现在 可 以 将 一 个 错误 侦 听 器 直接 附加 到 组 合 

的 Streams ， 它 将 接收 任何 内 部 流 发 出 的 任何 error 事件 。 现 在 ， 要 运 

行 archive 模块 ， 只 需 在 命令 行 参数 中 指定 password 和 file 参数 ， 即 压缩 模 
块 的 参数 : 


node archive mypassword /path/to/a/file.text 


通过 这 个 例子 ， 我 们 已 经 清楚 地 证 明了 组 合 的 Stream 是 多 么 重要 ; 从 一 个 方面 来 
说 ， 它 允许 我 们 创建 流 的 可 重用 组 合 ， 从 另 一 方面 来 说 ， 它 简化 了 管道 的 错误 管 
理 。 


分 开 的 Streams 


我 们 可 以 通过 将 单个 可 读 的 Stream 管道 化 为 多 个 可 写 入 的 Stream 来 执 

行 Stream 的 分 支 。 当 我 们 想 要 将 相同 的 数据 发 送 到 不 同 的 目的 地 时 ， 这 便 体现 其 
作用 了 ， 例 如 ， 两 个 不 同 的 套 接 字 或 两 个 不 同 的 文件 。 os 
行 不 同 的 转换 时 ， 或 者 当 我 们 想 要 根据 一 些 标准 拆 分 数据 时 ， 也 可 以 使 用 它 。 如 图 
所 示 : 


9 Destination A 


() souee 
.> Destination B 


在 Node.js 中 分 开 的 Stream 是 一 件 小 事 。 举 例 说 明 。 





实现 一 个 多 重 校 验 和 的 生成 器 


让 我 们 创建 一 个 输出 给 定 文件 的 shal 和 md5 散 列 的 小 工具 。 我 们 来 调用 这 个 新 
模块 generateHashes.js ， 看 如 下 的 代码 : 


const fs = require( fs ) 

const crypto = require('crypto'); 

const ShalStream = crypto.createHash( ' Shal ' ) ， 
shaliStream.setEncoding('base64'); 

const md5Stream = crypto.createHash('md5'); 
md5Stream.setEncoding('base64'); 


目 ee sete 的 该 模块 的 下 一 个 部 分 实际 上 是 我 们 将 从 文件 创建 一 个 可 读 
的 Stream ， 并 将 其 分 又 到 两 个 不 同 的 流 ， 以 获得 另外 两 个 文件 ， 其 中 一 个 包 
含 shal 散 列 ， 如一 个 包 人 md5 校 验 和 : 


const inputFile = process.argv[2]; 
const inputStream = fs.createReadStream(inputFile); 
inputStream 
.pipe(shaiStream) 
.pipe(fs.createwWriteStream(inputFile + '.shal1')); 
inputStream 
.pipe(md5Stream) 
,pipe(fs.createwriteStream(inputFile + '.md5"')); 


大 大 


这 很 简单 : inputStream 变量 通过 管道 一 边 输入 到 shalStream ， 另 一 边 输 入 
到 md5Stream 。 但 是 要 注意 : 


e 当 inputStream 结束 时 ， md5Stream 和 shalStream 会 自动 结束 ， 除 非 当 
调用 pipe() 时 指定 了 end 选项 为 false 。 


。 Stream 的 两 个 分 支 会 接受 相同 的 数据 块 ， 因 此 当 对 数据 执行 一 些 副 作用 的 操 
作 时 我 们 必须 非 第 谨 懂 ， 因 为 那 社会 影响 另外 一 个 分 支 。 


. 思 金 外 会 户 生育 9 压 ， 来 自 inputStream 的 数据 流 的 流速 会 根据 接收 最 慢 的 分 
支 的 流 沈 速 速 作 出 调整 © 


合并 的 Streams 


合并 与 分 开 相对 ， 通 过 把 一 组 可 读 的 Streams 合并 到 一 个 单独 的 可 写 
的 Stream 里 ， 如 图 所 示 : 


将 多 个 Streams 合并 为 一 个 通常 是 一 个 简单 的 操作 ; 然而 ， 我 们 必须 注意 我 们 处 
理 end 事件 的 方式 ， 因 为 使 用 自动 结束 选项 的 管道 系统 会 在 一 个 源 结束 时 立即 结 
束 目 标 流 。 这 通常 会 导致 错误 ， 因 为 其 他 还 未 结束 的 源 将 继续 写 入 已 终止 

的 Stream 。 解 决 此 问题 的 方法 是 在 将 多 个 源 传输 到 单个 目标 时 使 用 先 

项 {end :false} ， 并 且 只 有 在 所 有 源 完成 读 取 后 才 在 目标 Stream 上 调 

用 end() 。 





用 多 个 源 文 件 压 缩 为 一 个 压缩 包 


一 个 简单 的 例子 ， 我 们 来 实现 一 个 小 程序 ， 它 根据 两 个 不 同 目录 的 内 容 创 建 一 个 
。 为 此 ， 我 们 将 介绍 两 个 新 的 npm 模块 : 


e tar 用 来 创建 压缩 包 
e fstream 从 文件 系统 文件 创建 对 象 streams 的 库 


我 们 创建 一 个 新 模块 mergeTar .js ， 如 下 开始 初始 化 : 


var tar = require('tar'); 

var fstream = require('fstream' ); 

var path = require('path'); 

var destination = path.resolve(process.argv[2]); 
var sourceA = path.resolve(process.argv[3]); 

var SourceB = path.resolve(process.argv[4]); 


在 前 面 的 代码 中 ， 我 们 只 加 载 全 部 依赖 包 和 初始 化 包含 目标 文件 和 两 个 源 目 录 
( sourceA 和 sourceB ) 的 变量 。 


接 下 来 ， 我 们 创建 tar 的 Stream 并 通过 管道 输出 到 一 个 可 写 入 的 Stream 


const pack = tar.Pack(); 
pack.pipe(fstream.Writer(destination)); 


现在 ， 我 们 开始 初始 化 源 Stream 


let endCount = 0; 


function onEnd() { 
if (++endCount === 2) { 
pack.end(); 


} 


const sourceStreamA = fstream.Reader({ 
type: "Directory", 
path: sourceA 


I) 


.ONn('end', onEnd); 


const SourceStreamB = fstream.Reader({ 
type: "Directory'", 
path: sourceB 


}) 


.oNn('end', onEnd); 


在 前 面 的 代码 中 ， 我 们 创建 了 从 两 个 源 目 录 

( sourceStreamA 和 sourceStreamB ) 中 读 取 的 Stream 那么 对 于 每 个 

源 Stream ， 我 们 附加 一 个 end 事件 订阅 者 ， 只 有 当 这 两 个 目录 被 完全 读 取 时 ， 
才 会 触发 pack 的 end 事件 。 


最 后 ， 合 并 两 个 Stream 


sourceStreamA.pipe(pack, {end: false}); 
sourceStreamB.pipe(pack, {end: false}); 


我 们 将 两 个 源 文 件 都 压缩 到 pack 这 个 Stream 中 ， 并 通过 设 

定 pipe() 的 option 参数 为 {end : false} 配置 终点 Stream 的 自动 触 

发 end 事件 。 

这 样 ， 我 们 已 经 完成 了 我 们 简单 的 TAR 程序 。 我 们 可 以 通过 提供 目标 文件 作为 第 
一 个 命令 行 参数 ， 然 后 是 两 个 源 目 录 来 尝试 运行 这 个 实用 程序 : 


node mergeTar dest.tar /path/to/sourceA /path/to/sourceB 


在 npm 中 我 们 可 以 找到 一 些 可 以 简化 Stream 的 合并 的 模块 : 


e _ merge-stream 
e multistream-merge 


要 注意 ， 流 入 目标 Stream 的 数据 是 随机 混合 的 ， 这 是 一 个 在 某 些 类 型 的 对 象 流 中 
可 以 接受 的 属性 〈 正 如 我 们 在 上 一 个 例子 中 看 到 的 那样 ) ， 但 是 在 处 理 二 进 
制 Stream 时 通常 是 一 个 不 希望 这 样 。 


然而 ， 我 们 可 以 通过 一 种 模式 按 顺序 合并 Stream ; 它 包含 一 个 接 一 个 地 合并 

源 Stream ， 当 前 一 个 结束 时 ， 开 始 发 送 第 二 段 数据 块 (就 像 连接 所 有 

源 Stream 的 输出 一 样 ) 。 在 npm 上 ， 我 们 可 以 找到 一 些 也 处 理 这 种 情况 的 软件 
包 。 其 中 之 一 是 multistream 。 


多 路 复 用 和 多 路 分 解 


合并 Stream 模式 有 一 个 特殊 的 模式 ， 我 们 并 不 是 丨 的 只 想 将 多 个 Stream 合并 
在 一 起 ， 而 是 使 用 一 个 共享 通道 来 传送 一 组 数据 Stream 。 与 之 前 的 不 一 样 ， 因 为 
源 数 据 Stream 在 共享 通道 内 保持 逻辑 分 离 ， 这 使 得 一 旦 数据 到 达 共 享 通道 的 另 一 
端 ， 我 们 就 可 以 再 次 分 离 数 据 Stream 。 如 图 所 示 : 





将 多 个 Stream 组 合 在 单个 Stream 上 传输 的 操作 被 称 为 多 路 复 用 ， 而 相反 的 操 
( 即 ， 从 共享 Stream 接收 数据 重 构 原始 的 Stream ) 则 被 称 为 多 路 分 用 。 执 
行 这 些 操 作 的 设备 分 别称 为 多 路 复 用 器 和 多 路 分 解 器 (。 这 是 一 个 在 计算 机 科学 和 
电信 和 领域 广泛 研究 的 话题 ， 因 为 它 是 几乎 任何 类 型 的 通信 媒体 ， 如 电话 ， 广 播 ， 电 
视 ， 当 然 还 有 互联 网 本 身 的 基础 之 一 。 对 于 本 书 的 范围 ， 我 们 不 会 过 多 解释 ， 因 为 

这 是 一 个 很 大 的 话题 。 


我 们 想 在 本 节 中 演示 的 是 ， 如 何 使 用 共享 的 Node.js Streams 来 传送 多 个 逻辑 上 
分 离 的 Stream ， 然 后 在 共享 Stream 的 另 一 端 再 次 分 离 ， 即 实现 一 次 多 路 复 用 
和 多 路 分 解 。 


创建 一 个 远程 logger 日 志 记 录 


举例 说 明 ， 我 们 希望 有 一 个 小 程序 来 启动 子 进程 ， 并 将 其 标准 输出 和 标准 错误 都 重 
定向 到 远程 服务 器 ， 服 务 器 接受 它们 然后 保存 为 两 个 单独 的 文件 。 因 此 ， 在 这 种 情 
况 下 ， 共 享 介 质 是 TCP 连接 ， 而 要 复 用 的 两 个 通道 是 子 进程 

的 stdout 和 stderr 。 我 们 将 利用 分 组 交换 的 技术 ， 这 种 技术 

与 IP ， TCP 或 UDP 等 协议 所 使 用 的 技术 相同 ， 包 括 将 数据 封装 在 数据 包 中 ， 
允许 我 们 指定 各 种 源 信息 ， 这 对 多 路 复 用 ， 路 由 ， 控 制 流程 ， 检 查 损 坏 的 数据 都 十 
分 有 帮助 。 


如 图 所 示 ， 这 个 例子 的 协议 大 概 是 这 样 ， 数 据 被 封装 成 具有 以 下 结构 的 数据 包 : 


1 byte 4 bytes 


i Data length 





在 客户 端 实现 多 路 复 用 
先 说 客户 端 ， 创建 一 个 名 为 client.js 的 模块 ， 这 是 我 们 这 个 应 用 程序 的 一 部 
分 ， 它 负责 启动 一 个 子 进程 并 实现 Stream 多 路 复 用 。 


开始 定义 模块 ， 首 先 加 载 依赖 : 


const chiild _ process = require('child process ' ) ， 
const net = require('net'); 


然后 开始 实现 多 路 复 用 的 函数 : 


function multiplexChannels(sources, destination) 4{ 
let totalChannels = sources.1length,; 


for(let i = 0; i < sources.length; i++) { 
sources[i] 
:ON('readable', function() { /7 [2] 

Jet chunk; 

while ((chunk = this.read()) !== null) { 
const outBuff = new Buffer(1 + 4 + chunk.length); // [ 

2] 

outBuff .writeUInt8(i, 0); 
outBuff .writeUINt32BE(chunk.1length, 1); 
chunk.copy(outBuff, 5); 
console.log('Sending packet to channel: ' + i); 
destination.write(outBuff); // [3| 


} 
}) 
.on('end', () => { //[4] 
If (--totalChannels === 0) { 
destination.end(); 
} 
}); 


multiplexChannels() 函数 接受 要 复 用 的 源 Stream 作为 输入 和 复 用 接口 作为 
参数 ， 然 后 执行 以 下 步骤 : 


1， 对 于 每 个 源 Stream ， 它 会 注册 一 个 readable 事件 侦 听 器 ， 我 们 使 
用 non-flowing 模式 从 流 中 读 取 数据 。 


2. 每 读 取 一 个 数据 块 ， 我 们 将 其 封装 到 一 个 首部 中 ， 首 部 
为 : channel ID 为 1 字 节 ( UInt8 ) ， 数 据 包 大 小 为 4 字 
( UInt32BE ) ， 然 后 为 实际 数据 。 


3. 数据 包 准 备 好 后 ， 我 们 将 其 写 入 目标 Stream 。 


4. 我 们 为 end 事件 注册 一 个 监听 器 ， 以 便当 所 有 源 Stream 结束 时 ， end 事 
件 触 发 ， 通 知 目标 Stream 触发 end 事件 。 


注意 ， 我 们 的 协议 最 多 能 够 复 用 多 达 256 个 不 同 的 源流 ， 因 为 我 们 只 有 1 个 字 节 
来 标识 channel 。 


const socket = net.connect(3000，() => { // [1] 
const child = child_process.fork( // [2] 
process.argv[2], 
process.argv.slice(3), { 
silent: true 


} 


); 
multiplexChannels([child.stdout, child.stderr], socket); // [3| 


}); 
了 = 2| 
在 最 后 ， 我 们 执行 以 下 操作 : 
1. 我 们 创建 一 个 新 的 TCP 客户 端 连 接 到 地 址 1ocalhost:3000 。 
2. 我 们 通过 使 用 第 一 个 命令 行 参数 作为 路 径 来 启动 子 进程 ， 同 时 我 们 提供 剩余 
的 process.argv 数组 作为 子 进程 的 参数 。 我 们 指定 选 
项 {silent : true} ， 以 便 子 进程 不 会 继承 父 级 的 stdout 和 stderr 。 
3. 我 们 使 用 mutiplexchannels() 函数 将 stdout 和 stderr 多 路 复 用 
到 socket 里 。 
在 服务 端 实现 多 路 分 解 
现在 来 看 服务 端 ， 人 多 | 建 server .js 模块 ， 在 这 里 我 们 将 来 自 远 程 连 接 
的 Stream 多 路 分 解 ， 并 将 它们 传送 到 两 个 不 同 的 文件 中 。 


首先 创建 一 个 名 为 demultiplexCchanne1() 的 函数 


function demultiplexChannel(source, destinations) { 
let currentChannel = null; 
let currentLength = nulil; 


source 
.on('readable', () => { //[1] 
let chunk; 
if(currentchannel === null) { Vl 


chunk = source.read(1); 
currentChannel = chunk && chunk.readUInt8(0); 


} 


if(currentLength === null) { AS 
chunk = Source .read(4) 
currentLength = chunk && chunk .readUInt32BE(0 ) ; 
if(currentLength === null) { 
return,; 


} 
} 


chunk = source.read(currentLength); //[4] 
if(chunk === null) { 

returnms 
} 


console.log('Received packet from: ' + currentChannel); 


destinations[currentChannel] .write(chunk); ald 
currentCchannel = null; 
currentLength = null,; 


}) 

.on('end', () => { ZA 
destinations.forEach(destination => destination.end()); 
console.log('Source channel closed'); 


0 


上 面 的 代码 可 能 看 起 来 很 复杂 ， 仔 细 阅 读 并 非 如 此 ; 由 于 Node.js 可 读 
的 Stream 的 拉动 特性 ， 我 们 可 以 很 容易 地 实现 我 们 的 小 协议 的 多 路 分 解 ， 如 下 所 
示 : 


1. 我 们 开始 使 用 non-flowing 模式 从 流 中 读 取 数据 。 

2. 首先 ， 如 果 我 们 还 没有 读 取 channel ID ， 我 们 尝试 从 流 中 读 取 1 个 字 节 ， 然 
后 将 其 转换 为 数字 。 

3. 下 一 步 是 读 取 首 部 的 长 度 。 我 们 需要 读 取 4 个 字 节 ， 所 以 有 可 能 在 内 
部 Buffer 还 没有 足够 的 数据 ， 这 将 导致 this.read() 调用 返回 null 。 在 
这 种 情况 下 ， 我 们 只 是 中 断 解 析 ， 然 后 重 试 下 一 个 readable 事件 。 

4. 当 我 们 最 终 还 可 以 读 取 数据 大 小 时 ， 我 们 知道 从 内 部 Buffer 中 拉 出 多 少数 
据 ， 所 以 我 们 尝试 读 取 所 有 数据 。 

5， 当 我 们 读 取 所 有 的 数据 时 ， 我 们 可 以 把 它 写 到 正确 的 目标 通道 ， 一定 要 记得 重 


置 currentchannel 和 currentLength 变量 〈《 这 些 变 量 将 被 用 来 解析 下 一 
个 数据 包 ) 。 | 

6. 最 后 ， 当 源 channel 结束 时 ， 一 定 不 要 忘记 调用 目标 Stream 的 end() 方 
法 。 


既然 我 们 可 以 多 路 分 解 源 Stream ， 进 行 如 下 调用 : 


net ,createServer(Socket => { 
const stdoutStream = fs.createwriteStream('stdout.1o0g'); 
const stderrStream = fs.createwriteStream('stderr.1o0g'); 
demultiplexChannel(socket, [stdoutStream, stderrStream]|); 


}) 
.listen(3000, () => console.log('Server Started ' ) ) 


在 上 面 的 代码 中 ， 我 们 首先 在 3000 端口 上 启动 一 个 TCP 服务 器 ， 然 后 对 于 我 们 

接收 到 的 每 个 连接 ， 我 们 将 创建 两 个 可 写 入 的 Stream ， 指 向 两 个 不 同 的 文件 ， 一 
个 用 于 标准 输出 ， 另 一 个 用 于 标准 错误 ; 这 些 是 我 们 的 目标 channel 。 最后， 我 

们 使 用 demultiplexchannel() 将 套 接 字 流 解 复 用 

为 stdoutStream 和 stderrStream 。 


运行 多 路 复 用 和 多 路 分 解 应 用 程序 


现在 ， 我 们 准备 尝试 运行 我 们 的 新 的 多 路 复 用 /多 路 分 解 应 用 程序 ， 但 首先 让 我 们 创 
建 一 个 小 的 Node.js 程序 来 产生 一 些 示例 输出 ; 我 们 把 它 叫 
做 generateData.js 


console.1log("out1"); 
console.1log("out2"); 
console.error("err1"); 
console.log("out3"); 
console.error ("err2"); 


首先 ， 让 我 们 开始 运行 服务 端 : 
node server 
然后 运行 客户 端 ， 需 要 提供 作为 子 进 程 的 文件 参数 : 


node client generateData.js 


x node (node) 于 





X ..-r05/node_code (zsh) 





客户 端 几乎 立马 运行 ， 但 是 进程 结束 时 ， generateData 应 用 程序 的 标准 输入 和 
标准 输出 经 过 一 个 TCP 连接 ， 然 后 在 服务 器 端 被 多 路 分 解 成 两 个 文件 。 


注意 ， 当 我 们 使 用 child_process.fork() 时 ， 我 们 的 客户 端 能 够 启动 别 
的 Node.js 模块 。 


对 象 Streams 的 多 路 复 用 和 多 路 分 解 


我 们 刚刚 展示 的 例子 演示 了 如 何 复 用 和 解 复 用 二 进 制 /文本 Stream ， 但 值得 一 提 
的 是 ， 相 同 的 规则 也 适用 于 对 象 Stream 。 最 大 的 区 别 是 ， 使 用 对 和 象 ， 我 们 已 经 
有 了 使 用 原子 消息 (对 象 ) 传输 数据 的 方法 ， 所 以 多 路 复 用 就 像 设 置 一 个 属 


性 channel ID 到 每 个 对 象 一 样 简单 ， 而 多 路 分 解 只 需要 读 .channel ID 属性 ， 
并 将 每 个 对 象 路 由 到 正确 的 目标 Stream 。 


还 有 一 种 模式 是 取 一 个 对 象 上 的 几 个 属性 并 分 发 到 多 个 目的 Stream 的 模式 通过 
这 种 模式 ， 我 们 可 以 实现 复杂 的 流程 ， 如 下 图 所 示 : 





如 上 图 所 示 ， 取 一 个 对 象 Stream 表示 animals ， 然 后 根据 动物 类 
型 : reptiles ， amphibians 和 mammals ， 然 后 分 发 到 正确 的 目 
标 Stream 中 。 


侣 


总 结 


/ 


b 


在 本 章 中 ， 我 们 已 经 对 Node.js Streams 及 其 使 用 案例 进行 了 阅 述 ， 但 同时 也 应 
该 为 编程 范式 打开 一 扇 大 门 ， 几 乎 具有 无 限 的 可 能 性 。 我 们 了 解 了 为 什 

么 Stream 被 Node.js 社区 赞誉 ， 并 且 我 们 掌握 了 它们 的 基本 功能 ， 使 我 们 能 够 
利用 它 做 更 多 有 趣 的 事情 。 我 们 分 析 了 一 些 先进 的 模式 ， 并 开始 了 解 如 何 将 不 同 配 
置 的 Streams 连接 在 一 起 ， 掌 握 这 些 特性 ， 从 而 使 流 如 此 多 才 多 艺 ， 功 能 强大 。 


如 果 我 们 遇 到 不 能 用 一 个 Stream 来 实现 的 功能 ， 我 们 可 以 通过 将 其 

他 Streams 连接 在 一 起 来 实现 ， 这 是 Node.js 的 一 个 很 好 的 特性 ; Streams 在 
处 理 二 进 制 数据 ， 字 符 串 和 对 象 都 十 分 有 用 ， 并 具有 鲜明 的 特点 。 

在 下 一 章 中 ， 我 们 将 重点 介绍 传统 的 面向 对 象 的 设计 模式 。 尽 管 Javascript 在 
某 种 程度 上 是 面向 对 象 的 语言 ， 但 在 Node.js 中 ， 函 数 式 或 混合 方法 通常 是 首 

选 。 在 阅读 下 一 章 便 揭晓 答案 。 


Design Patterns 


设计 模式 是 重复 出 现 的 问题 的 可 重用 解决 方案 ; 该 术语 的 定义 非常 广泛 ， 可 以 涵盖 
应 用 程序 的 多 个 领域 。 然 而 ， 这 个 术语 通常 与 著名 的 面向 对 外 模式 相关 联 ， 又 被 称 
作 可 复 用 的 面向 对 象 基础 方法 。 我 们 经 常会 将 这 些 特定 的 模式 集合 称 为 传统 设计 模 
式 或 GoF 设计 模式 。 


在 JavaScript 中 应 用 面向 对 象 的 设计 模式 并 不 像 传统 的 面向 对 象 的 语言 那样 线 
性 和 形式 化 。 我 们 知道 ， JavaScript 是 范式 化 的 ， 面 向 对 象 的 ， 基 于 原型 的 ， 
并 且 是 动态 类 型 语言 ; 它 将 函数 视 为 一 等 公民 ， 并 允许 函数 式 的 编程 风格 。 这 些 特 
性 使 得 JavaScript 成 为 一 种 非常 通用 的 语言 ， 它 为 开发 人 员 提 供 了 巨大 的 力 

量 ， 但 同时 也 造成 其 编程 风格 与 传统 语言 不 同 。 人 们 总 结 JavaScript 的 编程 范 
式 ， 最 后 总 结 出 JavaScript 生态 系统 的 模式 。 有 很 多 方法 可 以 使 

用 JavaScript 实现 相同 的 结果 。 对 于 JavaScript 的 问题 ， 解 决 一 个 问题 的 模 
式 是 多 样 化 的 。 这 种 现象 的 一 个 明显 的 例子 就 是 JavaScript 生态 系统 中 有 丰富 
的 框架 和 类 库 ; 可 能 没有 其 他 语言 见 过 这 么 多 ， 尤 其 是 现在 Node.js 已 经 

给 JavaScript 带 来 了 惊人 的 新 的 可 能 性 ， 并 创造 了 许多 新 的 场景 。 


在 这 种 背景 下 ， 传 统 的 设计 模式 也 受到 JavaScript 本 质 的 影响 。 实 现 它们 的 方 
式 有 很 多 ， 所 以 它们 传统 的 ， 强 烈 的 面向 对 象 的 实现 意味 着 它们 不 再 是 模式 。 在 某 
些 情况 下 ， 它 们 甚至 是 不 需要 的 ， 因 为 我 们 知道 ， JavaScript 没有 费 正 的 类 或 
抽象 接口 。 不 变 的 是 每 个 模式 的 基本 原理 ， 解 决 的 问题 以 及 解决 方案 核心 的 概念 。 


本 章 探讨 的 设计 模式 如 下 : 


工厂 模式 〈 Factory ) 

揭示 构造 模式 ( Revealing constructor ) 
代理 模式 ( Proxy ) 

装饰 者 模式 ( Decorator ) 

适配器 模式 ( Adapter ) 

策略 模式 ( Strategy ) 

状态 模式 ( State ) 

模板 模式 ( Template ) 

中 间 件 模式 ( Middleware ) 

命令 模式 ( Command ) 


本 章 假 定 读者 对 JavaScript 中 继承 的 工作 原理 有 一 些 概念 。 另外 请 注意 ， 
在 本 章 中 ， 我 们 经 常 使 用 一 般 的 和 更 直观 的 图 来 描述 一 个 模式 来 代替 标准 

的 UML ， 因 为 许多 模式 可 以 有 一 个 不 仅 基于 类 而 且 基 于 对 象 其 至 函数 的 实 
现 。 


工厂 模式 ( Factory ) 


我 们 从 Node.js 中 最 简单 ， 最 常见 的 设计 模式 工厂 模式 开始 。 


用 于 创建 对 象 的 通用 接口 


我 们 已 经 强调 了 这 样 的 事实 : 在 JavaScript 中 ， 因 为 函数 的 简单 性 ， 易 用 性 和 
可 拓展 性 ， 函 数 实 例 通常 比 纯粹 的 面向 对 象 设计 更 受 欢 迎 。 创 建新 的 对 象 实例 时 尤 
其 如 此 。 实际 上 ， 调 用 一 个 工厂 ， 而 不 是 直接 使 用 new 运算 符 

或 0bject,.create() 从 一 个 原型 创建 一 个 新 的 对 象 ， 在 很 多 方面 是 非常 方便 和 灵 
活 的 。 


首先 ， 工 厂 允 许 我 们 将 对 象 创建 与 实现 分 离开 来 ; 从 本 质 上 讲 ， 一 个 工厂 包装 了 一 
个 新 实例 的 创建 ， 给 了 我 们 更 多 的 灵活 性 和 控制 。 在 工厂 内 部 ， 我 们 可 以 使 用 闭 
包 ， 使 用 原型 和 new 运算 符 ， 使 用 0bject.create() 创建 新 实例 ， 甚 至 根据 特 
定 条 件 返回 不 同 的 实例 。 对 于 对 象 的 使 用 者 而 言 ， 其 完全 不 知道 这 个 实例 是 怎么 进 
行 创 建 的 。 事 实 是 ， 通 过 使 用 new ， 我 们 将 我 们 的 代码 绑 定 到 创建 对 象 的 一 种 特 
定 方式 ， 而 在 JavaScript 中 ， 可 以 更 灵活 且 自 由 地 创建 对 象 。 作 为 下 面 这 个 简 
单 的 例子 ， 我 们 来 考虑 通过 工厂 模式 创建 一 个 Image 对 象 : 


function createImage(name) { 
return new Image(name); 


} 


const image = createImage('photo.jpeg' ); 


createImage() 工厂 可 能 看 起 来 完全 没有 必要 。 为 什么 不 直接 使 用 new 运算 符 
来 实例 化 Image 类 ?了 像 下 面 这 行 代码 : 


const image = new Image(name ) ， 


正如 我 们 已 经 提 到 的 ， 使 用 new 将 我 们 的 代码 绑 定 到 一 个 特定 类 型 的 对 象 ;对 于 
前 面 的 例子 ， 绑 定 到 Image 类 型 的 对 象 。 工 厂 模 式 创 建 对 象 更 为 灵活 ; 想象 一 
下 ， 如 果 我 们 想 要 重 构 Image 类 ， 把 它 分 成 更 小 的 类 ， 使 得 其 支持 各 种 图 像 格 
式 。 如 果 我 们 将 工厂 作为 创建 新 图 像 的 唯一 方法 ， 我 们 可 以 像 如 下 拓展 代码 ， 而 不 
会 破坏 任何 现 有 的 代码 : 


function createImage(name) { 
if (name.match(/\.jpeg$/)) { 
return new JpegImage(name); 
else if (name.match(/\.gif$/)) { 
return new GifImage(name); 
else if (name.match(/\.png$/)) { 
return new PngImage(name); 
else { 
throw new Exception('Unsupported format ' ) ， 


cc cc 


A 建 的 对 象 的 构造 吕 数 ， 并 防止 它们 被 扩展 或 修改 。 
在 Node.js 中 ， 这 可 以 通过 仅 导 出 工厂 来 实现 ， 同 时 保持 每 个 构造 函数 都 是 私有 
的 。 


强制 封装 机 制 
由 于 闭 包 ， 工 厂 也 可 以 用 来 实现 封装 。 


正如 我 们 所 知 ， 在 JavaScript 中 ， 我 们 没有 权限 修饰 符 (例如 ， 我 们 不 能 声明 
私有 变量 ) ， 所 以 强制 封装 的 唯一 方法 是 通过 函数 作用 域 和 闭 包 。 工厂 可 以 用 来 实 
现 封 装 ， 直 接 声明 私有 变量 ; 以 下 面 的 代码 为 例 : 


function createPerson(name) { 
const privateProperties = {}; 
const person = { 
setName: name => { 
if (!name) throw new Error('A person must have a name'),; 
privateProperties.name = name; 
}, 
getName: () => { 
return privateProperties.name; 
} 
}; 
person.setName (name); 
return person; 


} 


在 前 面 的 代码 中 ， 我 们 利用 闭 包 来 创建 两 个 对 象 : 一 个 表示 工厂 返回 的 公共 接口 
的 person 对象 ， 一 个 从 外 部 不 可 访问 的 privateProperties ， 只 能 通 

过 person 提供 的 接口 来 操作 目的 。 例 如 ， 在 前 面 的 代码 中 ， 要 确 

保 person 的 name 永远 不 为 空 ; 如 name 只 是 person 对 象 的 属性 ， 则 不 可 能 
做 到 强制 封装 。 


工厂 只 建 私 有 成 员 变量 的 技术 之 一 ， 事 实 上 ， 也 有 很 多 其 它 的 方法 定义 私 
有 成 员 变 


0 
@ 使 用 约定 ， 用 下 划 线 或 
员 ) 的 属性 名 称 前 缓 
e@ 使 用 ES2015 WeakMaps 


元 符号 $ (但 这 在 技术 上 不 会 阻止 从 外 部 访问 成 


构建 一 个 简单 的 profiler 


现在 ， 我 们 来 看 一 个 使 用 工厂 模式 的 完整 示例 。 让 我 们 构建 一 个 简单 
的 profiler ， 看 一 个 具有 以 下 属性 的 对 象 : 


e。 start() 方法 ， 触 发 一 个 会 话 开 始 
e end() 方法 ， 终 止 会 话 并 记录 它 的 执行 时 间 ， 打 印 到 控制 台 


我 们 首先 创建 一 个 名 为 profiler.js 的 文件 ， 它 将 包含 以 下 内 容 : 


class Profiler { 
constructor(label) { 
this.label = label; 
this.lastTime = null; 


} 
start() { 
this.lastTime = process.hrtime(); 


} 
end() { 


const diff = process.hrtime(this.]1lastTime); 


console.1log( 
‘Timer "${this.label}" took ${diff[0]} seconds and ${diffr[ 


1]} 


nanoseconds.. 


前 面 的 类 没有 什么 特别 之 处 。 我 们 只 需 使 用 默认 的 定时 器 来 保存 当 start() 被 调 
用 时 的 时 间 ， 然 后 计算 到 执行 end( ) 时 的 所 经 过 的 时 间 ， 并 将 结果 打印 到 控制 


人 台 。 


现在 ， 如 果 我 们 要 在 睦 实 世界 的 应 用 程序 中 使 用 这 样 一 个 profiler 来 计算 不 同 程 
序 的 执行 时 间 ， 我 们 可 以 很 容易 想象 我 们 将 会 在 标准 输出 中 产生 大 量 的 日 志 记录 ， 
特别 是 在 生产 环境 中 。 我 们 可 能 想 要 做 的 是 将 分 析 信息 重 定向 到 另 一 个 源 (例如 数 
据 库 ) ， 或 者 ， 如 果 应 用 程序 正在 生产 环境 下 运行 ， 则 将 profiler 完全 禁用 。 很 
明显 ， 如 果 我 们 直接 使 用 new 运算 符 实例 化 一 个 Profiler 对 象 ， 那 么 我 们 需要 
在 客户 端 代码 或 Profiler 对 象 本 身 中 添加 一 些 额 外 的 逻辑 ， 以 便 在 不 同 的 逻辑 之 
间 切 换 。 我 们 可 以 使 用 工 模式 厂 来 抽象 创建 Profiler 对 象 ， 这 样 ， 根 据 应 用 程序 
是 以 生产 模式 还 是 开发 模式 运行 ， 我 们 可 以 返回 完全 正常 工作 的 Profiler 对 象 ， 
或 者 具有 相同 接口 的 模拟 对 象 ， 但 方法 是 空隙 数 。 让 我 们 在 profiler.js 模块 中 
执行 此 操作 ， 而 不 是 导出 Profiler 构造 函数 ， 而 只 导出 一 个 函数 ， 即 我 们 的 工 
厂 。 以 下 是 其 代码 : 


module.exports = function(label) { 
if (process.env.NODE_ ENV === 'development') { 
return new Profiler(label); // [i] 
} else if (process.env.NODE ENV === 'production') { 
return { // [2] 
start: function() {}, 
end: function() 1 人 } 


} 
} else { 
throw new Error('Must set NODE_ENV'); 
}; 


我 们 创建 的 工厂 从 其 中 抽象 了 Profiler 对 象 的 创建 过 


e@ 如 果 应 用 程序 正在 开发 模式 下 运行 ， 我 们 会 完全 返回 一 个 新 的 具有 完整 功能 
的 Profiler 对 象 。 

@ 如 果 应 用 程序 正在 生产 模式 下 运行 ， 则 返回 一 个 模拟 对 象 ， 
的 start() 和 stop() 方法 是 空隙 数 。 


值得 一 提 的 是 ， 由 于 Javascript 的 动态 输入 ， 我 们 能 够 在 一 种 情况 下 返回 一 个 
使 用 new 运算 符 实例 化 的 对 象 ， 而 在 另 一 种 情况 下 返回 一 个 简单 的 对 象 字 面值 。 
工厂 模式 可 以 很 好 地 实现 这 一 点 ， 我 们 可 以 在 工厂 函数 中 以 任何 方式 创建 对 象 ， 可 
以 执行 额外 的 初始 化 步骤 或 者 根据 特定 的 条 件 返 回 不 同类 型 的 对 象 ， 而 这 些 细节 对 
于 对 象 的 使 用 者 来 说 都 是 透明 的 。 我 们 可 以 很 容易 地 理解 这 种 简单 模式 的 强大 。 


现在 我 们 可 以 使 用 我 们 的 profiler ， 来 看 以 下 代码 : 


const profiler = require('./profiler'); 


function getRandomArray(len) { 
const p = profiler('Generating a ' + Jen + ' items long array' 
); 
p.start(); 
const arr = []; 
for(let Ty 0 1 < len irt) dl 
arr.push(Math.random( )); 


p.end(); 


getRandomArray(1e6 ) ; 
console,1Log('Done ' ) ; 


变量 p 包含 我 们 的 profiler 对 象 实例 ， pa 它 是 如 何 创建 的 ， 和 在 
这 个 代码 点 它 是 如 何 实现 的 。 如 果 我 们 将 上 面 的 代码 包 

在 profilerTest.js 中 ， 0 测试 启用 代码 分 析 
功能 的 程序 ， 运 行 以 下 命令 


export NODE_ENV=development; node profilerTest 


前 面 的 命令 启用 开发 环境 的 profiler 然后 打印 分 析 信 息 到 控制 台 。 如 果 我 们 想 
要 看 看 生产 环境 下 的 profiler ， 我 们 可 以 运行 下 面 的 命 


export NODE_ENV=production; node profilerTest 


我 们 刚才 展示 的 示例 只 是 工厂 模式 的 简单 应 用 程序 ， 但 它 清楚 地 显示 了 将 对 象 的 创 
建 与 实现 分 离 的 优点 。 


可 组 合 的 工厂 函数 


现在 我 们 对 如 何在 Node.js 中 实现 工厂 函数 有 了 一 个 很 好 的 想法 ， 我 们 准备 引入 
一 个 最 近 在 Javascript 社区 中 引起 了 关注 的 高 级 模式 。 我 们 正在 谈论 可 组 合 的 
工厂 函数 ， 它 代表 了 一 种 特定 类 型 的 工厂 函数 ， 可 以 “组 合 " 在 一 起 构建 新 的 更 强大 
的 工厂 函数 。 它 们 人 允许 我 们 构建 继承 关系 较为 复杂 的 对 象 十 分 有 用 。 


我 们 可 以 用 一 个 简单 而 有 效 的 例子 来 阅 明 这 个 概念 。 假 设 我 们 要 构建 一 个 游戏 ， 其 
中 屏幕 上 的 角色 可 以 有 许多 不 同 的 行为 : 可 以 在 屏幕 上 移动 ;他 们 可 以 砍 杀 和 射击 。 
是 的 ， 要 成 为 一 个 角色 ， 他 们 应 该 有 一 些 基本 的 属性 ， 如 生命 值 ， 屏 幕 上 的 位 置 和 
角色 类 型 。 


我 们 要 定义 几 种 类 型 的 角色 ， 每 一 种 特定 的 行为 : 


Character : 具有 生命 值 ， 位置 和 名 字 的 基础 角色 

Mover : 可 移动 的 角色 

Slasher : 可 砍 杀 他 人 的 角色 

Shooter : 能 够 射击 的 角色 (只 要 有 子弹 就 可 以 成 为 Shooter 1!) 


理想 情况 下 ， 我 们 可 以 定义 新 的 角色 类 型 ， 结 合 现 有 角色 的 不 同行 为 。 我 们 希望 有 
绝对 的 自由 ， 例 如 ， 我 们 希望 在 现 有 的 基础 上 定义 这 些 新 的 类 型 : 


Runner : 可 移动 的 角色 

Samurai : 可 移动 和 砍 杀 他 人 的 角色 

Sniper : 不 能 移动 但 能 射击 的 角色 

Gunslinger : 可 以 移动 和 射击 的 角色 

Western Samurai : 可 移动 、 砍 杀 他 人 和 射击 的 角色 


正如 你 所 看 到 的 ， 我 们 希望 完全 自由 地 结合 每 个 基本 类 型 的 特征 ， 所 以 现在 应 该 很 
明显 的 是 我 们 不 能 用 类 和 继承 来 简单 地 模拟 这 个 问题 。 

相反 ， 我 们 将 使 用 可 组 合 的 工厂 函数 ， 特 别 是 我 们 可 以 使 用 stamp 模 块 。 

这 个 模块 提供 了 一 个 直观 的 接口 来 定义 工厂 函数 ， 可 以 组 合 起 来 构建 新 的 工厂 函 
数 。 基 本 上 ， 它 允许 我 们 定义 工厂 函数 ， 通 过 使 用 方便 流畅 的 接口 来 描述 它们 ， 这 
些 工厂 函数 将 生成 具有 一 组 特定 属性 和 方法 的 对 象 。 


让 我 们 看 看 如 何 通 过 stamp 定义 我 们 的 游戏 的 基本 角色 。 我 们 将 从 基础 的 角色 开 
始 : 


const stampit = require('stampit"'); 
const character = stampit(). 
props(t 

name: 'anonymous', 

lifePoints: 100, 

X30 

y: 0 
}); 


在 前 面 的 代码 片段 中 ， 我 们 定义 了 角色 的 工厂 函数 ， 它 可 以 用 来 创建 基本 角色 的 新 
实例 。 每 个 角色 将 具有 以 下 属性 : name，lifePoints，x 和 y， 默 认 值 分 别 

为 'anonymous' ， 100 ，0 和 0 。 使 用 stampit 的 props 方法 可 以 定义 这 
些 属性 。 要 使 用 这 个 工厂 函数 ， 我 们 可 以 这 样 做 : 


const c = character() 
c.name = 'John'; 


c.lifePoints = 10; 
console.log(c); // { name: 'John', lifePoints: 10, x:0, y:0 } 


现在 ， 让 我 们 来 定义 mover 工厂 函数 : 


const mover = stampit() 
.methods({ 
move(xIncr, yIncr) { 
this.x += xIncr; 
this.y += yIncr,; 
console.log( ${this.name} moved to [${this.x}, ${this.y}]. 


)2 
} 
}); 


在 这 种 情况 下 ， 我 们 使 用 stampit 的 methods 哆 数 来 声明 这 个 工厂 函数 产生 的 
对 象 中 所 有 可 用 的 方法 。 对 于 我 们 的 Mover 定义 ， 我 们 有 一 个 move 函数 可 以 增 
加 实例 的 x 和 y 的 位 置 。 请 注意 ， 我 们 可 以 从 方法 内 使 用 关键 字 this 来 访问 
实例 属性 。 

现在 我 们 已 经 理解 了 基本 的 概念 ， 我 们 可 以 很 容易 地 添 

加 slasher 和 shooter 类 型 的 工厂 函数 定义 : 


const slasher = stampit() 
.methods({ 
slash(direction) { 
console.log( ${this.name} slashed to the ${direction}  ); 


} 
}); 
const shooter = stampit() 
‘props({ 
bullets: 6 


}) 
.methods({ 
shoot(direction) { 
If (this.bullets > 0) { 
--this.bullets; 
console.log( ${this.name} shoot to the ${direction}  ); 
} 
} 
}); 


注意 到 我 们 如 何 使 用 props 和 methods 来 定义 我 们 的 shooter 工厂 函数 。 


现在 我 们 已 经 定义 了 所 有 的 基本 类 型 ， 我 们 准备 将 它们 组 合 起 来 创建 新 的 更 为 复杂 


的 工厂 函数 。 


const runner = stampit.compose(character, mover); 

const samurai = stampit.compose(character, mover, slasher); 
const sniper = stampit.compose(character, shooter); 

const gunslinger = stampit.compose(character, mover, shooter); 
const westernSamurai = stampit.compose(gunslinger, samurai); 


stampit.compose() 方法 定义 了 一 个 新 的 组 合 的 工厂 函数 ， 它 的 作用 是 根据 组 合 
工厂 函数 的 方法 和 属性 生成 一 个 对 象 。 正 如 你 所 看 到 的 那样 ， 这 是 一 个 强大 的 机 


制 ， 使 我 们 能 够 自由 地 创建 和 组 合 工厂 函数 。 
接 下 来 我 们 实例 化 一 个 新 的 westernSamurai 。 


const gojiro = westernSamurai( ) 
gojiro.name = 'Gojiro Kiryu'， 
gojiro.move(1, 0); 
gojiro.slash('left'),; 
gojiro.shoot('right"); 


这 将 产生 以 下 输出 : 


Yojimbo moved to [1, 0] 
Yojimbo slashed to the left 
Yojimbo shoot to the right 


实际 应 用 场景 


正如 我 们 所 说 的 ， 工 厂 模式 在 Node .js 中 非常 流行 ， 许 多 软件 包 只 提供 用 于 创建 
新 实例 的 工厂 ; 常见 一 些 例子 如 下 : 


e。 Dnode : Node.js 的 远程 程序 调用 ( RPC ) 库 。 如 果 我 们 查看 它 的 源 代 
码 ， 我 们 会 看 到 它 的 逻辑 实际 上 是 实现 成 一 个 名 为 D 的 类 ; 然而 ， 实 例 并 没 
J 合 外 界 ， 因 为 唯一 的 接口 是 工厂 ， 这 使 我 们 能 够 使 用 它 创 建 类 的 新 实 

例 。 你 可 以 看 看 它 的 源 代码 。 


e Restify : 这 是 一 个 构建 REST API 的 框架 ， 它 允许 我 们 使 
用 让 createServer() 工厂 函数 创建 一 个 服务 器 的 新 实例 ， 该 工厂 在 
内 部 创建 一 个 新 的 实例 Server 类 (不 导出 ) 。 你 可 以 看 看 它 的 源 代码 。 


其 他 模块 公开 了 一 个 类 和 一 个 工厂 ， 但 将 工厂 作为 创建 新 实例 的 主要 方法 或 最 方便 
的 方法 ; 一 些 例子 如 下 : 


e http-proxy : 这 是 一 个 可 编程 HTTP 的 代理 库 ， 
用 httpproxy.createproxyServer (options) 创建 新 的 实例 。 
e Node.js 核心 模块 之 HTTP : 这 是 新 实例 主要 使 
用 http.createServer() 创建 的 地 方 ， 但 这 实际 上 
是 new http.Server() 的 简写 方式 。 
e。 bunyan : 这 是 一 个 广泛 使 用 的 日 志 记 录 库 ; 在 其 README 文件 中 ， 要 求 这 个 
仓库 的 contributors 需要 使 用 工厂 函数 bunyan.createLogger() 作为 创 
建新 实例 的 主要 方法 ， 即 使 这 相当 于 运行 new bunyan() 。 


其 他 一 些 模块 也 提供 了 一 个 工厂 函数 来 封装 其 组 件 实例 的 创建 。 常 见 的 例子 

是 through2 和 from2 (我 们 在 Chapter 5-Coding with Streams 看 到 过 
它 ) ， 它 允许 我 们 使 用 工厂 方法 简化 新 Streams 的 创建 ， 从 而 显 式 地 使 用 继承 
和 new 运算 符 。 


还 有 一 些 使 用 stamp 规范 和 组 合 工厂 模式 的 模块 ， 可 以 看 看 react-stampit， 它 在 
前 端 使 用 组 合 工 厂 模式 ， 使 您 可 以 轻松 地 组 合 组 件 功能 ，remitter， 一 个 基 
于 Redis 的 pub / sub 模块 。 


揭示 构造 函数 模式 ( Revealing constructor ) 


揭示 构造 函数 模式 是 一 个 相对 较 新 的 模式 ， 在 Node.js 社区 和 JavaScript 中 越 
来 越 受 到 重视 ， 特 别 是 因为 它 在 一 些 核 心 库 (如 Promise ) 中 使 用 。 


我 们 已 经 

在 Chapter4-Asynchronous Control Flow Patterns with ES2015 and Beyon' 
中 隐 含 地 看 到 了 这 种 模式 ， 但 是 我 们 再 回 过 头 来 分 析 一 下 Promise 构造 函数 ， 以 
更 详细 地 描述 它 


const promise = new Promise(function(resolve, reject) { 
I 


J 


正如 你 所 看 到 的 ， Promise 接受 一 个 防 数 作为 构造 函数 的 和 参数， 这 被 称 为 执行 函 
数 。 这 个 函数 是 由 Promise 构造 函数 的 内 部 实现 调用 的 ， 它 提供 给 构造 函数 ， 用 
于 处 理 pending 状态 的 promise 的 内 部 状态 。 换 名 话说 ， 它 确定 了 一 个 方式 来 
调用 resolve 和 reject 函数 ， promise 个 机 制 ， 调 

用 resolve 和 reject 来 改变 对 象 的 内 部 状态 


这 样 做 的 好 处 是 只 有 构造 函数 的 参数 函数 才 有 权 resolve 和 reject ， 一 旦 构造 
了 Promise 对 象 ， 就 可 以 安全 地 传递 ; 没有 其 他 代码 将 能 够 调 

用 resolve 或 ject ， 来 改变 Promise 的 内 部 状态 。 这 就 是 为 什么 这 个 模式 
被 Domenic Denicola 的 一 篇 博客 文章 命名 为 揭示 构造 函数 模式 的 原因 。 


一 个 只 读 的 event emitter 


在 这 一 段 中 ， 我 们 将 使 用 揭示 构造 函数 模式 来 构建 一 个 只 读 的 event emitter ， 
这 是 一 种 特殊 类 型 的 event emitter ， 在 这 个 event emitter 内 部 方法 ， 不 允 
许 调 用 emit 方法 ， 只 有 传递 给 构造 函数 的 函数 参数 才能 够 调用 emit 方法 。 


让 我 们 将 Roee 类 的 代码 写 入 名 为 roee.js 的 文件 中 : 


const EventEmitter = require('events'); 
module.exports = class Roee extends EventEmitter { 
constructor(executor) { 
super(); 
const emit = this.emit.bind(this); 
this.emit = undefined; 
executor (emit ) ， 
} 
}; 





在 这 个 简单 的 类 中 ， 我 们 扩展 了 核心 模块 EventEmitter 类 ， 其 接受 一 
个 executor 遂 数 作为 构造 函数 的 唯一 参数 。 


在 构造 函数 内 部 ， 我 们 调用 super 六 戏 米 确 剑 双 过 调用 大 tL 父 构 造 函 数 来 正确 地 初 
始 化 event emitter ， 然 后 保存 emit 函数 的 备份 ， 并 通过 为 其 分 
配 undefined 来 删除 它 。 


最 后 ， 我 们 通过 传递 emit 方法 备份 作为 参数 来 调用 executor 函数 。 


这 里 要 了 解 的 重要 一 点 是 ， 在 _ undefined 被 分 配给 emit 方法 之 后 ， 我 们 不 能 
从 代码 的 其 他 部 分 调用 它 了 。 我 们 的 emit 的 备份 版 本 被 定义 为 一 个 局 部 变量 ， 
只 会 被 转发 给 执行 器 函数 。 这 个 机 制 使 我 们 能 够 仅 在 executor 函数 内 使 

用 emit 。 


现在 让 我 们 使 用 这 个 新 类 来 创建 一 个 简单 的 ticker ， 一 个 每 秒 发 出 一 
个 tick 并 记录 所 有 tick 发 出 的 数量 的 类 。 


这 将 是 我 们 新 的 ticker .js 模块 的 内 容 : 


const Roee = require('./roee'); 
const ticker = new Roee((emit) => { 

let tickCount = 0; 

setIinterval(() => emit('tick', tickCount++), 1000); 
}); 


module.exports = ticker; 


正如 你 在 这 里 看 到 的 ， 代 码 量 并 不 大 。 我 们 实例 化 一 个 新 的 Roee ， 并 
在 executor 函数 内 传递 emit 作为 参数 。 正 是 因为 我 们 的 executor 函数 接 
收 emit 作为 参数 ， 所 以 我 们 可 以 使 用 它 每 秒 发 出 一 个 新 的 tick 事件 。 


现在 我 们 举例 说 明 如 何 使 用 这 个 模块 : 


const ticker = require('./ticker'); 
ticker.on('tick', (tickCount) => console.log(tickCount, 'TICK')) 


// ticker.emit('something', {}); <-- This will fail 


我 们 使 用 与 任何 其 他 基于 event emitter 的 对 象 相同 的 ticker 对 有 象 ， 我 们 可 以 
用 on 方法 附加 任意 数量 的 监听 器 ， 但 是 在 这 种 情况 下 ， 如 果 我 们 尝试 使 
用 emit 方法 ， 那 么 我 们 的 代码 将 抛 出 异 


常 TypeError: ticker.emit is not a function 。 


ed ， 但 值得 一 提 的 是 这 个 事件 发 
生 器 的 只 读 功 能 并 完美 的 ， 并 且 仍 然 有 可 能 以 几 种 方式 绕 过 它 。 例 如 ， 我 
们 仍然 可 以 通 0 emit 在 我 们 的 ticker 实例 上 发 出 事件 ， 
如 下 上 所 示 : 


require('events').prototype.emit.call(ticker, 'someEvent', {}); 


实际 应 用 场景 


即使 这 种 模式 非常 有 趣 和 智能 ， 但 实际 上 ， 除 了 promise 构造 函数 以 外 ， 很 难 找 
到 常见 的 应 用 实例 。 


值得 一 提 的 是 ， 现 在 Streams 议案 中 有 一 个 新 的 规范 ， 可 以 尝试 使 用 揭示 构造 函 
数 模式 替代 现今 的 模板 模式 ， 以 便 能 够 描述 各 种 Streams 对 象 的 行为 : 可 以 看 
https://streams.spec.whatwg.org/ 


另外 需要 指出 的 是 ， 在 之 前 Chapter 5-Coding with Streams 当 我 们 实现 
了 _ ParallelStream 类 的 时 候 。 这 个 类 作为 构造 函数 参数 接 


受 userTransform 哆 数 作 为 参数 ( executor ) 。 


即使 在 这 种 情况 下 ， executor 函数 在 构建 时 不 被 调用 ， 但 在 Streams 的 内 
部 _transform() 方法 中 ， 揭 示 构 造 函 数 模式 的 一 般 概念 仍然 有 效 。 实 际 上 ， 这 
种 方法 允许 我 们 在 创建 一 个 新 的 parallelStream 实例 时 ， 将 Streams 的 一 些 内 
部 方法 (例如 push 函数 ) 暴露 给 executor 函数 ， 使 得 我 们 在 调用 构造 函数 创 
建 parallelStream 实例 时 执行 与 内 部 方法 相关 的 一 些 操作 。 


代理 模式 ( Proxy ) 


代理 是 一 个 控制 访问 另 一 个 被 称 为 主体 对 象 的 对 象 。 代 理 对 象 和 主体 对 象 有 一 套 相 
同 的 接口 ， 这 使 得 在 使 用 代理 的 过 程 中 ， 对 于 使 用 者 而 言 是 透明 的 。 这 种 模式 称 为 
代理 模式 。 代 理 拦截 了 所 有 要 在 主体 对 象 上 进行 的 操作 ， 并 增强 或 补充 主体 对 象 的 
行为 。 如 图 所 示 : 


Subject 








P| MethodA() 
Client 
P| MethodB() 

















上 图 给 我 们 展示 了 代理 对 象 和 主体 对 象 具 有 相同 的 接口 ， 以 及 这 对 客户 端 来 说 是 如 
何 完全 透明 的 ， 客 户 端 可 以 互 换 地 使 用 其 中 一 个 。 代 理 将 每 个 操作 转发 给 主体 ， 通 
过 额外 的 预 处 理 或 后 处 理 来 增强 其 行为 。 
要 注意 的 是 ， 我 们 并 不 是 在 讨论 对 于 不 同类 需要 实现 不 同 的 代理 。 代 理 模式 要 
求 代理 对 象 需要 保持 各 自主 体 的 状态 。 


代理 在 几 种 情况 下 是 有 用 的 ; 例如 ， 考 虑 以 下 几 点 情况 : 


e@ 数据 验证 : 在 代理 向 主体 转发 数据 前 验证 其 数据 输入 的 合法 性 。 
@ 安全 性 : 代理 验证 客户 端 是 否 有 权限 ， 仅 仅 当 有 权限 时 才 会 向 主体 对 象 发 送 相 


关 请 求 。 
。 人 缓存 : 代理 对 象 保存 内 部 缓存 ， 仅 仅 当 绥 存 未 命中 时 才 向 主体 对 象 发 送 相关 请 
来 。 


e。 懒 加 载 : 如 果 主 体 对 象 的 创建 需要 消耗 大 量 资 源 ， 代 理 可 以 推迟 创建 主体 对 象 
的 时 机 ， 仅 仅 当 需要 主体 对 象 时 才 创 建 主体 对 象 。 

@ 日 志 : 代理 拦截 方法 和 对 应 的 参数 调用 ， 并 在 他 们 执行 前 后 实现 日 志 打 印 。 

@ 远程 对 象 : 代理 可 以 接收 远程 对 象 ， 并 使 得 其 呈现 为 本 地 对 象 。 


当然 ， 代 理 模式 还 有 更 多 的 应 用 ， 但 以 上 这 些 应 该 能 让 我 们 了 解 其 主要 用 途 。 


实现 代理 的 技术 


当代 理 一 个 对 象 时 ， 我 们 可 以 拦截 所 有 的 方法 ， 或 者 只 拦截 其 中 的 一 些 ， 而 把 其 余 
的 直接 委托 给 主体 对 象 。 有 几 种 方法 可 以 实现 这 一 点 。 让 我 们 来 分 析 其 中 的 一 些 方 
法 。 


对 象 组 合 


对 象 组 合 是 一 种 将 对 象 与 另 一 个 对 象 组 合 起 来 的 技术 ， 便 于 扩展 或 使 用 其 中 一 个 对 
象 功 能 。 对 于 代理 模式 而 言 ， 创 建 具 有 与 主体 对 象 相同 接口 的 新 对 象 ， 并 且 对 该 主 
体 的 引用 以 实例 变量 或 闭 包 变量 的 形式 存储 在 代理 内 部 。 


主体 对 象 可 以 在 创建 时 从 客户 端 注 入 ， 也 可 以 由 代理 自己 创建 。 
以 下 是 使 用 伪 类 和 工厂 模式 创建 代理 对 象 的 一 个 例子 : 


function createProxy(subject) { 
const proto = Object.getPrototypeof(subject ) ， 


function Proxy(subject) { 
this.subject = subject; 
} 
Proxy.prototype = Object.create(proto); 
//proxied method 
Proxy.prototype.hello = function() { 
return this.subject.hello() + ' world!'; 
je 
//delegated method 
Proxy.prototype.goodbye = function() { 
return this.subject.goodbye 
.apply(this. subject, arguments); 
return new Proxy(subject); 


} 


module.exports = createProxy; 


为 了 使 用 对 象 组 合 实现 代理 ， 我 们 必须 拦截 我 们 需要 的 方法 (比如 hello() ) ， 
对 于 我 们 不 需要 的 方法 ， 则 委托 给 主体 对 象 调用 (例如 goodbye() 方法 ) 。 

前 面 的 代码 也 显示 了 主体 对 象 有 一 个 原型 的 特定 情况 ， 我 们 希望 维护 正确 的 原型 
链 ， 以 便 执 行 代理 instanceof Subject 将 返回 true ; 我 们 使 用 继承 来 实现 这 
一 点 。 

这 只 是 一 个 额外 的 步骤 ， 当 我 们 想 要 保持 原型 链 时 ， 才 需要 这 个 步骤 ， 这 对 于 改进 
代理 的 兼容 性 有 用 的 。 


但 是 ， 由 于 JavaScript 具有 动态 类 型 ， 大 多 数 情况 下 我 们 可 以 避免 使 用 继承 ， 
并 使 用 更 直接 的 方法 。 例 如 ， 前 面 的 代码 中 提供 的 代理 的 另 一 种 实现 ， 可 能 只 使 用 
对 象 字 面 量 和 工厂 模式 : 


function createProxy(Subject) { 
return { 
XX 代理 7 法 
hello: () => (subject.hello() + ' world!'), 
// 委托 方法 
goodbye: () => (subject.goodbye.apply(subject, arguments)) 


} 


如 果 我 们 想 创建 一 个 委托 其 大 部 分 方法 的 代理 ， 那 么 使 用 称 为 delegates 自 动 生 
成 这 些 代 理会 很 方便 。 


对 象 增强 


pe ei a 过 用 在 代理 对 象 上 实现 替换 方法 来 直接 修 
改 对 象 ; 看 下 面 的 例子 


function createProxy(subject) { 
const helloOrig = subject.hello; 
subject.hello = () => (helloOrig.call(this) + ' world!'); 
return subject,; 


} 


当 我 们 需要 实现 的 代理 只 有 一 个 或 几 个 方法 的 时 候 ， 这 个 技术 绝对 是 最 方便 的 ， 但 
是 它 有 一 个 缺点 ， 就 是 直接 修改 主体 对 象 。 


不 同 技术 的 比较 


对 象 组 合 被 认为 是 创建 代理 的 最 安全 的 方式 ， 因 为 它 可 以 在 不 改变 主体 对 象 的 原始 
行为 的 情况 下 创建 代理 。 它 唯一 的 缺点 是 我 们 必须 手动 委托 所 有 的 方法 ， 即 使 我 们 
只 想 代 理 其 中 的 一 个 方法 。 如 果 需 要 的 话 ， 我 们 可 能 还 必须 委托 访问 主体 对 象 的 属 
性 [e) 


对 象 原型 能 够 通过 使 用 0bject.defineProperty() 被 委托 ， 可 以 查看 
Object.defineProperty() 的 文档 


对 于 对 象 增强 而 言 ， 可 能 我 们 并 不 是 总 想 要 修改 主体 对 象 ， 但 是 它 没有 出 现在 委派 
方法 中 出 现 的 种 种 不 便 。 为 此 ， 对 象 增 强 是 用 JavaScript 实现 代理 最 实用 的 方 
式 ， 如 果 修 改 主 体 对 象 不 会 导致 大 问题 ， 对 象 增强 是 首选 的 技术 。 


然而 ， 至 少 有 一 种 情况 下 ， 对 象 组 合 几乎 是 必需 的 ; 这 就 是 我 们 想 要 控制 主体 对 象 
的 初始 化 时 ， 例 如 ， 只 在 需要 它 的 时 候 才 创建 ( 懒 加 载 ) 。 


值得 指出 的 是 ， 通 过 使 用 工厂 函数 〈 在 我们 的 例子 中 是 createProxy() ) ， 
我 们 可 以 将 代码 从 用 于 生成 代理 。 


创建 一 个 可 写 入 的 日 志 流 , 


为 了 实现 一 个 代理 模式 的 例子 ， 现 在 我 们 创建 一 个 可 写 入 Streams 的 例子 ， 通 过 
拦截 对 write() 函数 的 全 部 调用 ， 然 后 对 于 每 次 调用 记录 一 条 信息 。 我 们 会 使 用 
对 象 组 合 来 实现 我 们 的 代理 ， 创 建 一 个 lJoggingwritable.js 文件 来 实现 : 


const fs = require( fs )， 


function createLoggingwritable(writableOrig) { 
const proto = Object.getPrototypeof (writableOrig); 


function LoggingwWritable(writableOorig) 革 
this.writableOrig = writableOrig; 


} 
Loggingwritable.prototype = Object.create(proto); 


Loggingwritable.prototype.write = function(chunk, encoding, ca 
Uback)ne 
if(!callback && typeof encoding === 'function') { 
callback = encoding; 
encoding = undefined,; 


console.log('Writing ', chunk); 

return this.writableOrig.write(chunk, encoding, function() { 
console.log('Finished writing ', chunk); 

callback && callback(); 

}); 

}; 


LoggingwWritable.prototype.on = function() { 
return this.writableOrig.on 
.apply(this.writableOrig, arguments); 


~ 


Loggingwritable.prototype.end = function() { 
return this.writableOrig.end 
.apply(this.writableOrig, arguments),; 


" 


return new Loggingwritable(writableOrig); 


在 前 面 的 代码 中 ， 我 们 创建 了 一 个 返回 代理 对 象 的 代理 版 本 的 工厂 函数 ， 工 厂 函 数 
需要 传递 主体 对 象 作为 参数 。 我 们 履 盖 了 write() 方法 ， 每 次 调用 write() 时 
都 会 将 消息 记录 到 标准 输出 ， 并 且 每 次 异步 操作 完成 时 都 会 记录 消息 。 这 也 是 创建 


异步 防 数 的 代理 的 一 个 很 好 的 例子 ， 因 为 我 们 知道 代理 回调 函数 也 是 必要 的 。 这 是 
在 诸如 Node.js 的 平台 中 要 考虑 的 重要 细节 。 其 余 的 方法 on() 和 end() 只 是 
委托 给 原来 的 可 写 入 的 Streams (为 了 让 代码 更 加 精简 ， 我 们 没有 考虑 可 写 入 接 
0 。 现 在 我 们 可 以 在 loggingwritable.js 模块 中 添加 几 行 代码 来 
测试 我 们 刚 创建 的 代理 : 


const writable = fs.createwWriteStream( 'test .txt ' )， 
const writableProxy = createLoggingwritable(writable); 


writableProxy.write('First chunk )， 
writableProxy.write('Second chunk  )， 
writable.write('This is not logged'); 
writableProxy.end(); 


因为 使 用 对 象 组 合 ， 这 个 代理 不 会 改变 Streams 或 者 它 的 外 部 行为 的 原 有 接口 ， 
ne ， 我 们 现在 回 看 到 每 个 数据 块 写 入 Streams 的 过 程 透 明 
地 写 到 控制 台中 。 


代理 生态 -函数 钧 子 和 AOP 


在 众多 的 设计 模式 中 ， 代 理 模式 在 Node,js 以 及 生态 系统 中 都 是 相当 流行 的 模 

式 。 实 际 上 ， 我 们 可 以 找到 几 个 允许 我 们 简化 代理 创建 的 库 ， 大 部 分 时 间 利 用 对 象 
增强 作为 实现 方法 。 在 社区 中 ， 这 个 模式 也 可 以 称 为 函数 挂钩 ， 或 者 有 时 称 为 面向 
方面 的 编程 ( AOP ) ， 它 实际 上 是 代理 的 一 个 常见 应 用 领域 。 在 AOP 中 ， 这 些 库 
通常 允许 开发 人 员 为 特定 方法 (或 一 组 方法 ) 设置 执行 前 或 执行 后 钓 子 ， 这 些 方法 
允许 我 们 分 别 在 执行 建议 的 方法 之 前 和 之 后 执行 自 定 义 代 码 。 

有 时 ， 代 理 也 被 称 为 中 间 件 ， 因 为 在 中 间 件 模式 中 (我 们 将 在 本 章 后 面 会 看 到 ) ， 
它们 允许 我 们 对 函数 的 输入 /输出 进行 预 处 理 和 后 处 理 。 有 了 时， 他 们 也 允许 使 用 类 似 
中 间 件 的 管道 为 同一 方法 注册 多 个 钓 子 。 

在 npm 上 有 几 个 库 允 许 我 们 用 很 少 的 努力 实现 函数 钧 子 。 其 中 有 hooks，hooker， 
和 meld 。 


ES2015 的 Proxy 


ES2015 规范 引入 了 一 个 名 为 Proxy 的 全 局 对 象 ， 它 可 以 从 开始 
在 Node.js v6.0 中 使 用 。 


Proxy API 包含 一 个 Proxy 构造 函数 ， 它 接受 一 个 target 和 一 
个 handler 作为 参数 : 


const proxy = new Proxy(target, handler); 


这 里 ， target 表示 应 用 代理 的 对 象 〈 我 们 的 规范 定义 的 主体 对 象 ) ， 
而 handler 是 定义 代理 行为 的 特殊 对 象 。 


handler 对 象 包含 一 系列 具有 预定 义 名 称 的 可 选 方法 ， 这 些 方法 称 为 陷阱 方法 
(例如 ，apply ， get ， set 和 has ) ， 这 些 方法 在 代理 实例 上 执行 相应 的 
操作 时 会 自动 调用 。 


为 了 更 好 地 理解 这 个 API 的 工作 原理 ， 我 们 来 看 一 个 例子 : 


const scientist = { 
name: 'nikola', 
surname: 'tesla' 
jp 
const uppercaseScientist = new Proxy(scientist, { 
get: (target, property) => target[property].toUppercCase() 
je 


console.log(uppercaseScientist.name, uppercaseScientist.surname) 


/ 
// NIKOLA TESLA 


在 这 个 例子 中 ， 我 们 使 用 Proxy API 来 拦截 对 目标 对 象 scientist 属性 的 所 有 
访问 ， 并 将 属性 的 原始 值 转换 为 大 写字 符 串 。 


如 果 你 仔细 看 看 这 个 例子 ， 你 可 能 会 注意 到 这 个 API 的 一 些 特别 的 东西 : 它 允 许 
我 们 拦截 对 目标 对 象 的 通用 属性 的 访问 。 这 是 可 能 的 ， 因 为 API 不 仅仅 是 一 个 简 
单 的 包装 来 促进 代理 对 象 的 创建 ， 就 像 我 们 在 本 章 前 面部 分 所 定义 的 那样 ; 相反 ， 
它 是 深入 集成 到 JavaScript 语言 本 身 的 一 个 特性 ， 它 使 开发 人 员 能 够 拦截 和 定 
制 可 以 在 对 象 上 执行 的 许多 操作 。 这 个 特性 开创 了 一 些 新 的 有 趣 的 场景 ， 这 些 场景 


~ A 


在 元 编程 ， 运 算 符 重 载 和 对 象 虚 拟 化 之 前 是 不 容易 实现 的 。 
我 们 来 看 另 一 个 例子 来 益 述 这 个 概念 : 


const evenNumbers = new Proxy([], { 

get: (target, index) => index * 2, 

has: (target, number) => number % 2 === 0 
}); 
console.1log(2 in evenNumbers); // true 
console.log(5 in evenNumbers); // false 
console.log(evenNumbers[7]); // 14 


在 这 个 例子 中 ， 我 们 正在 创建 一 个 包含 所 有 偶数 的 虚拟 数组 。 它 可 以 作为 常规 数组 
使 用 ， 这 意味 着 我 们 可 以 使 用 常规 数组 语法 访问 数组 中 的 每 一 项 ( 例 

如 ， evenNumbers[7] ) ， 或 者 使 用 in 运算 符 检 查 数组 中 是 否 存 在 元 素 ( 例 

如 ， 偶 数 中 有 2 个 ) 。 该 数组 被 认为 是 虚拟 的 ， 因 为 我 们 从 不 在 其 中 存储 数据 。 
看 一 下 这 个 实现 ， 这 个 代理 使 用 一 个 室 的 数组 作为 目标 ， 然 后 在 处 理 程序 中 定义 陷 
阱 get 和 has 


get 陷 阱 拦截 对 数组 元 素 的 访问 ， 返 回 给 定 索引 的 双 倍 ， 而 是 拦截 in 运算 符 的 用 
法 ， 并 检查 给 定 的 数字 是 否 是 偶数 。 

Proxy API 支持 一 些 其 他 有 趣 的 陷阱 ， 如 set ， delete ， 和 construct ， 
并 允许 我 们 创建 代理 ， 可 以 根据 需要 撤销 ， 禁 用 所 有 的 陷阱 和 恢复 target 对 象 的 
原始 行为 。 

分 析 所 有 这 些 功能 超出 了 本 章 的 范围 。 这 里 重要 的 是 理解 proxy API 提供 了 一 个 
强大 的 基础 ， 以 便 在 需要 时 利用 代理 模式 。 
如 果 您 想 了 解 更 多 关于 Proxy API 的 知识 并 发 现 其 所 有 功能 和 陷阱 方法 ， 请 
参阅 Mozilla 的 本 文中 的 更 多 内 容 : 
https://developer.mozilla.org/it/docs/Web/JavaScript/Reference/Global_Object 
s/Proxy 。 另 一 个 很 好 的 来 源 是 来 自 Google 的 详细 文 草 : 
https://developers.google.com/web/updates/2016/02/es2015-proxies 。 


实际 应 用 场景 


Mongoose 是 MongoDB 的 一 个 流行 的 对 象 文档 映射 ( 0DM ) 库 。 在 内 部 ， 它 使 
用 hooks 为 init ， validate ， save 和 remove 元 数 提供 预 处 理 和 后 处 理 的 
钓 子 函数 。 有 关 官 方 文档 ， 请 参阅 Mongoose 的 官方 文档 。 


装饰 者 模式 ( Decorator ) 
装饰 者 模式 是 一 种 结构 模式 ， 由 动态 增加 现 有 对 象 的 行为 组 成 。 这 与 经 典 继承 不 
同 ， 因 为 行为 不 会 添加 到 同一 类 的 所 有 对 象 中 ， 而 只 会 添加 到 明确 装饰 的 实例 中 。 


从 实现 的 角度 来 看 ， 它 与 代理 模式 非常 相似 ， 但 不 是 增强 或 修改 对 象 的 现 有 接口 的 
行为 ， 而 是 使 用 新 功能 增强 它 ， 如 下 图 所 示 : 


Decorator Component 
methodA() methodA() 








Client 


methodB()- methodB() 
methodC() 








在 上 图 中 ， Decorator 对 象 通过 添加 methodc() 操作 来 扩展 Component 对 
象 o 


通常 将 现 有 的 方法 委托 给 装饰 对 和 象 ， 而 无 需 进 一 步 处理 。 当然 ， 如 果 需 要 ， 我 们 可 
以 轻松 地 组 合 代 理 模 式 ， 以 便 对 现 有 方法 的 调用 也 可 以 被 拦截 和 操纵 。 


实现 装饰 者 模式 的 技巧 


虽然 代理 模式 和 装饰 者 模式 在 概念 上 是 两 种 不 同 的 模式 ， 不 同 的 村 
共享 相同 的 实施 策略 。 让 我 们 来 回顾 一 下 。 


对 月 组 合 
使 用 组 合 ， 被 装饰 的 组 件 通常 被 包 讲 ee " 在 这 
器 只 需要 定义 新 的 方法 ， 而 将 现 有 的 方法 委托 给 原始 组 件 : 


function decorate(component ) { 
const proto = 0bject,getPrototypeof(component ) ; 


function Decorator(component) { 
this.component = component,; 

} 

Decorator.prototype = Object.create(proto); 

Decorator.prototype.greetings = function() { 
return 'Hi!'; 

}; 

// 委托 方法 

Decorator .prototype.hello = function() { 


return this.component.hello.apply(this.component, 


je 


return new Decorator(component ) ; 


对 象 增强 


彝 式 ， 他 们 实际 上 


中 情况 下 ， 装 饰 


arguments) 


装饰 者 模式 也 可 以 通过 简单 地 将 新 方法 直接 附加 到 被 装饰 对 象 来 实现 ， 如 下 所 示 : 


function decorate(component ) { 
// 新 方法 
component.greetings = () => { 
return component,; 
}; 
} 


对 于 使 用 对 象 组 合 和 对 象 增强 在 代理 模式 的 缺陷 也 同样 适用 于 
我 们 通过 一 个 实例 来 练习 装饰 者 模式 ! 


装饰 一 个 LevelUP 数据 库 


装饰 者 模式 。 现 在 让 


在 我 们 开始 编码 下 一 个 例子 之 前 ， 先 说 一 下 我 们 现在 要 使 用 的 模块 LevelUP 。 


介绍 LevelyP 和 LevelDB 


LevelUP 是 Google 的 LevelDB 上 的 一 个 Node.js 包装 器 ， 它 是 最 初 为 了 

在 Chrome 浏览 器 中 实现 IndexedDB 而 创建 的 键 / 值 存 储 库 ， 但 它 远 不 止 于 此 。 
由 于 其 极 简 主 义 和 可 扩展 性 ， LevelDB 被 Dominic Tarr 定义 为 “Node.js 的 数据 
库 "。 像 Node.js 一 样 ， LevelDB 提供 了 非常 高 效 的 性 能 ， 只 有 最 基本 的 一 组 功 
能 ， 允 许 开 发 人 员 在 其 上 构建 任何 类 型 的 数据 库 。 Node.js 社区 (在 这 种 情况 下 
是 Rod Vagg ) 并 没有 错过 通过 创建 LevelUP 将 这 个 数据 库 的 强大 功能 

入 Node.js 的 机 会 。 作 为 LevelDB 的 包装 ， 它 演变 成 支持 从 内 存 存 储 到 其 

他 NoSQL 数据 库 (如 Riak 和 Redis ) 到 Web 存 储 引 人 擎 

(如 IndexedDB 和 1localstorage ) 的 几 种 后 端 ， 使 我 们 可 以 在 服务 器 和 客户 端 
上 使 用 相同 的 API ， 开 放 了 一 些 非 常 有 趣 的 场景 。 


现在 ， LevelUP 已 经 形成 了 一 个 完整 的 生态 系统 ， ee ， 扩展 了 微 
型 核心 ， 实 现 复 制 ， 二 级 索引 ， 实 时 更 新 ， 查 询 引 擎 等 功能 。 完整 的 数据 库 
是 建立 在 LevelUP 之 上 的 ， 包 括 CouchDB 的 克隆 ( 例 ee 
CouchUP) ， 甚 至 包括 图 数据 库 ，levelgraph， 它 可 以 在 Node.js 和 浏览 器 上 工 
作 ! 


了 解 更 多 关于 LevelUP 生 态 系统 的 信息 : https://github.com/rvagg/node- 
levelup/wiki/Modules 


实现 一 个 LeveluP 插件 


在 下 一 个 示例 中 ， ， 我 们 将 展示 如 何 使 用 装 寺 饰 者 模式 为 LevelUP 创建 一 个 简单 的 插 
件 ， 特 别 是 使 用 对 象 增 强 技术 ， 这 是 最 简单 但 仍然 最 实用 且 最 有 效 的 方法 来 装饰 对 
象 能 2 


为 了 方便 ， 我 们 将 使 用 level， 它 捆绑 了 levelup 和 名 为 leveldown 的 默认 
适配器 ， 后 者 使 用 LevelDB 作为 后 端 。 


我 们 想 要 构建 的 是 一 个 LevelUP 的 插件 ， 它 允许 我 们 在 每 次 将 具有 特定 模式 的 对 
象 保存 到 数据 库 时 接收 通知 。 例 如， 如 果 我 们 订阅 i 1} 这 种 类 型 a 我 
们 希望 在 保存 诸如 fa: 1，b: 3} 或 {a: 1，c: 'x'} 的 对 象 时 收 到 通知 进入 数 
据 库 。 


我 们 开始 通过 创建 一 个 名 为 levelSubscribe.js 的 新 模块 来 构建 我 们 的 小 插件 。 
然后 我 们 将 插入 下 面 的 代码 : 


module.exports function levelsubseribe(db) se 


db. subscribe (pattern, listener) => { /a 
db.on('put', (key, val) => { Zz le 
const match = Object.keys(pattern).every( 
k => (pattern[k] === val[k]) 2 | 


了 


if(match) { 
listener(key, val); //[4] 


} 
}); 


2 
return db; 


了 


这 就 是 我 们 的 插件 ， 它 非常 简单 。 让 我 们 简单 看 看 在 前 面 的 代码 中 会 发 生 什 么 


1. 用 一 个 名 为 subscribe() 的 新 方法 来 装饰 db 对 象 。 并 且 使 用 对 象 增强 的 方 
式 直接 将 方法 直接 附加 到 提供 的 db 实例 。 

2. 监听 对 数据 库 进行 的 任何 put 操作 。 

3. 0 彝 式 匹配 算法 ， 它 验证 了 所 提供 的 模式 中 的 所 有 属性 。 

4. 一 旦 匹配 成 功 ， 通 知 监听 者 。 


现在 让 我 们 来 创建 一 些 代 码 - 在 一 个 名 为 levelSubscribeTest.,js 的 新 文件 中 - 
试用 我 们 的 新 插件 : 


const level = require('level'); // [1] 
const levelSubscribe = require('./levelSubscribe'); // [2] 


let db = level(_ dirname + '/db', {valueEncoding: 'json'}); 


db = levelSubscribe(db); 

db. subscribel( 
{doctype: 'tweet', language: 'en'}, // [3] 
(k, val) => console.1log(val) 


DE 


db.put('1', {doctype: 'tweet', text: 'Hi', lJanguage: 'en'}); //I[ 
4] 
db.put('2', {doctype: 'company', name: 'ACME Co.'}); 


这 就 是 我 们 在 前 面 的 代码 中 所 做 的 : 


1. 首先 ， 我 们 初始 化 我 们 的 LevelUP 数据 库 ， 选 择 存储 文件 的 目录 以 及 这 些 值 
的 默认 编码 。 

2. 然后 ， 我 们 附 上 我 们 的 插件 ， 它 装饰 原始 的 db 对 象 。 

3， 此 时 ， 我 们 准备 使 用 由 我 们 的 插件 提供 的 新 特性 ， 即 subscribe() 方法 ， 在 
那里 我 们 订阅 包含 doctype: "tweet" 和 language: "en" 属性 的 对 象 。 


4. 最 后 ， 我 们 使 用 put 来 保存 数据 库 中 的 一 些 值 。 第 一 个 调用 将 触发 与 订阅 相 
关 的 回调 ， 我 们 将 看 到 存储 在 控制 台中 的 对 象 。 这 是 因为 在 这 种 情况 下 ， 对 象 
匹配 订阅 。 相 反 ， 第 二 个 调用 将 不 会 生成 任何 输出 ， 因 为 存储 的 对 象 将 不 符合 
订阅 条 件 。 

这 个 例子 展示 了 装饰 者 模式 在 其 最 简单 实现 中 的 实际 应 用 : 对 象 增强 。 它 看 起 来 像 

一 个 普通 的 模式 ， 但 是 如 果 使 用 得 当 ， 它 无 疑 是 很 强大 的 。 

为 了 简单 起 见 ， 我 们 的 插件 只 能 与 put 操作 结合 使 用 ， 但 是 实际 上 对 于 batch 

操作 也 可 以 使 用 装饰 者 模式 来 进行 拓展 。 


实际 应 用 场景 


有 关 更 多 使 用 装饰 器 的 更 多 示例 ， 我 们 可 能 要 阅读 一 些 更 多 的 LevelUP 插件 的 代 
码 : 


e level-inverted-index : 这 是 一 个 插件 ， 它 将 倒 排 索引 添加 到 LevelUP 数据 库 
中 ， 允 许 我 们 在 存储 在 数据 库 中 的 值 上 执行 简单 的 文本 搜索 。 
e。 level-plus : 这 是 一 个 将 原子 更 新 添加 到 LevelUP 数据 库 的 插件 。 


适配器 模式 ( Adapter ) 


适配器 模式 允许 我 们 使 用 不 同 的 接口 访问 对 象 的 功能 。 顾 名 思 义 ， 它 适 配 一 个 对 
象 ， 以 便 它 可 以 被 不 同 接口 调用 。 


下 图 阅 述 了 适配器 模式 情况 : 
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上 图 显示 了 Adapter 对 象 的 本 质 是 Adaptee 对 象 的 包装 ， 暴 露 了 一 个 不 同 的 接 
口 。 该 图 还 突出 显示 了 Adapter 对 象 的 操作 也 可 以 是 Adaptee 对 象 上 一 个 或 多 
个 方法 调用 的 组 合 。 从 实现 的 角度 来 看 ， 最 常见 的 技术 是 组 合 ， 其 中 Adapter 的 
方法 为 Adaptee 的 方法 提供 了 桥梁 。 这 个 模式 非常 简单 ， 让 我 们 举例 说 明 。 


通过 文件 系统 API 使 用 LevelUP 


现在 我 们 将 围绕 LevelUP API 构建 一 个 适配器 ， 将 其 转换 为 与 核心 fs 模块 兼容 
的 接口 。 特 别 是 ， 我 们 将 确保 每 次 调用 readFile() 和 writeFile() 都 将 转化 
为 对 db.get() 和 db.put() 的 调用 。 这样 我 们 就 可 以 使 用 一 个 LevelUP 数据 
库 作 为 简单 文件 系统 操作 的 存储 后 端 。 


首先 创建 一 个 名 为 fsAdapter ,js 的 新 模块 。 我 们 将 首先 加 载 依 赖 关系 并 导出 我 
们 要 用 来 构建 适配器 createFsAdapter() 工厂 函数 : 


const path = require( "path ' ) ， 

module.exports = function createFsAdapter(db) £ 
const fs = {}; 
7 

} 


接 下 来 ， 我 们 会 在 工厂 函数 内 实现 readFile() 函数 ， 确 保 它 的 接口 与 fs 模块 
某 一 个 原 有 函数 是 兼容 的 : 


fs.readFile = function(filename, options, callback) { 
if (typeof options === 'function') { 
callback = options; 
options = {}; 
} else if (typeof options === 'string') { 
options = { 
encoding: options 
}; 


} 
db.get(path.resolve(filename), { //[1|] 


valueEncoding: options.encoding 


}, 
function(err, value) { 
if (err) { 
if (err.type === 'NotFoundError') { //[2] 
err = new Error('ENOENT, open \'' + filename + '\"''); 
err.code = 'ENOENT'; 
err.errno = 34; 
err.path = filename; 
} 
return callback && callback(err); 
} 
callback && callback(null, value); //13| 
} 
); 


re 


在 前 面 的 代码 中 ， 我 们 不 得 不 做 一 些 额 外 的 工作 ， 以 确保 我 们 的 新 函数 的 行为 尺 可 
能 接近 原始 的 fs.,readFile() 函数 。 


该 函数 所 执行 的 步骤 如 下 所 述 : 


1. 为 了 从 db 类 提取 一 个 文件 ， 我 们 使 用 filename 作为 key 调 
用 db.get() ， 使 用 它 的 完整 的 路 径 (使 用 path.resolve() ) 。 我 们 设 
置 valueEncoding 的 值 ， 等 于 作为 输入 参数 的 任意 encoding 选项 。 

2. 如 果 key 在 数据 库 没 有 找到 ， 我 们 创建 一 个 带 有 ENOENT 作为 错误 码 


的 error ， 错 误 码 fs 模块 用 来 表示 一 个 不 存在 的 文件 。 其 余 的 error 转 
发 给 callback 。 

3. 如 果 key-value 对 从 数据 库 中 成 功 提取 ， 我 们 会 使 
用 callback 将 value 返回 给 调用 者 。 


我 们 可 以 看 到 ， 我 们 创建 的 函数 相当 粗糙 ， 它 并 不 可 能 成 为 fs.readFile() 函数 
的 完美 替代 品 ， 但 是 在 最 常见 的 情况 下 它 肯 定 会 完成 它 的 工作 。 


为 了 完成 我 们 的 fs 模块 适配器 插件 ， 现 在 让 我 们 看 看 如 何 实 现 writeFile() 遂 
数 : 


fs.writeFile = (filename, contents, options, callback) => { 
If (typeof options === 'function') { 
callback = options; 
options = {}; 
} else if (typeof options === 'string') { 
options = { 
encoding: options 


ji 


db.put(path.resolve(filename), contents, { 
valueEncoding: options.encoding 
}, callback); 


另外 ， 在 这 种 情况 下 ， 我 们 没有 进行 完美 的 包装 和 适 配 ， 因 为 我 们 忽略 了 一 些 选 
项 ， 比 如 对 于 文件 权限 〈 options .mode ) 来 说 ， 我 们 会 按照 原样 传递 从 数据 库 
收 到 的 任何 错 广 误 9 


最 后 ， 我 们 只 需要 返回 fs 对 象 并 使 用 下 面 这 行 代码 关闭 工厂 函数 : 


return fs; 


fsAdapter ,js 完整 代码 : 


const path = require('path'); 


module.exports = function createFsAdapter(db) £ 
const fs = {}; 


fs.readFile = (filename, options, callback) => { 
If (typeof options === 'function') { 
callback = options; 
options = {}; 
} else if(typeof options === 'string') { 
options = {encoding: options}; 
} 


db.get(path.resolve(filename), { //[1] 
valueEncoding: options.encoding 
}, 
(err, value) => { 
if(err) { 
if(err.type === 'NotFoundError') { 2 
err = new Error( ENOENT, open "${filename}" ) ， 
err.code = 'ENOENT'; 
err.errno = 34; 
err.path = filename; 


} 
return callback && callback(err); 


} 
callback && callback(null, value); Za 
} 
六 
j 


fs.writeFile = (filename, contents, options, callback) => { 
if(typeof options === 'function') { 
callback = options; 
options = {}; 
} else if(typeof options === 'string') { 
options = {encoding: options}; 
} 


db.put(path.resolve(filename), contents, { 
valueEncoding: options.encoding 
}, callback); 


}; 
return fs; 


和 


我 们 的 新 适配器 插件 已 经 准备 就 绪 ; 如 果 我 们 现在 编写 一 个 测试 模块 ， 我 们 可 以 党 
试 使 用 它 : 


const fs = require( fs ),; 


fs.writeFile('file.txt', 'Helljo!', () => { 
fs.readFile('file.txt', {encoding: 'utf8'}, (err, res) => { 
console.log(res); 
}); 
}); 


试图 读 取 不 存在 的 文件 
a missing.txt', {encoding: 'utf8'}, (err, res) => { 
console.log(err); 


}); 


X ..06/15_adapter (zsh) 
15_adapter gi 


15_adapter gi 





上 面 的 代码 使 用 原始 的 fs API 在 文件 系统 上 执行 操作 ， 并 应 该 在 控 征 
上 打印 如 下 内 容 : 


{ [Error: ENOENT, open 'missing.txt'] errno: 34, code: "ENOENT ' ， 
path: 'missing.txt' } 
Hello! 


现在 ， 我 们 可 以 尝试 用 我 们 的 适配器 替换 fs 模块 ， 如 下 所 示 : 


const levelup = require('level'); 

const fsAdapter = require('./fsAdapter'); 

const db = levelup('./fsDB', { 
valueEncoding: 'binary' 


下 
const fs = fsAdapter (db); 


再 次 运行 我 们 的 程序 应 该 产生 相同 的 输出 ， 除 了 我 们 指定 的 文件 没有 任何 部 分 是 使 
用 文件 系统 读 取 或 写 入 的 。 相 反 ， 使 用 我 们 的 适配器 执行 的 任何 操作 都 将 转换 为 
在 LevelUP 数据 库 上 执行 的 操作 。 


我 们 刚 创建 的 适配器 可 能 看 起 来 很 傻 ， 因 为 我 们 不 明确 使 用 数据 库 代 替 引 正 的 文件 
系统 的 目的 是 什么 。 但 是 ， 我 们 应 该 记 住 ， LevelUP 本 身 具 有 适配器 ， 可 以 使 数 
据 库 也 在 浏览 器 中 运行 ; 其 中 一 个 适配器 是 level.js。 现 在 我 们 的 适配器 应 该 是 完美 
的 。 我 们 可 以 考虑 使 用 它 来 与 依赖 于 fs 模块 的 浏览 器 代码 共享 | 例如 ， 我 们 

在 Chapter 3-Asynchronous Control Flow Patterns with Callbacks 中 创 
建 的 Web 处 虫 应 用 程序 使 用 fs API 来 存储 在 其 操作 期 间 下 载 的 网 页 ; 我 们 的 适 配 
器 将 允许 它 在 浏览 器 中 运行 只 需 稍 作 修改 ! 我们 很 快 就 会 意识 到 ， 在 涉及 到 与 浏览 
器 共享 代码 时 ， 适 配器 模式 也 是 一 个 非常 重要 的 模式 ， 我 们 将 

在 Chapter8-Universal JavaSscript for Web Applications 中 详细 介绍 。 


实际 应 用 场景 


适配器 模式 有 很 多 实际 应 用 场景 的 例子 ， 在 这 里 列 出 一 些 最 值得 注意 的 例子 进行 分 
析 : 


。 我 们 已 经 知道 LevelUP 能 够 在 浏览 器 中 使 用 不 同 的 存储 后 端 运行 ， 从 默认 
的 LevelDB 到 IndexedDB 。 这 是 通过 创建 复制 内 部 私有 
的 LevelUP API 的 各 种 适配器 实现 的 。 可 以 到 以 下 链接 看 看 是 如 何 实现 的 : 
https://github.com/rvagg/node-levelup/wiki/Modules#storage-back-ends 。 

e jugglingdb 是 一 个 多 数据 库 的 ORM ， 当 然 ， 使 用 多 个 适配器 使 其 与 不 同 的 
数据 库 兼 容 。 可 以 到 以 下 链接 看 看 是 如 何 实现 的 : 
https://github.com/1602/jugglingdb/tree/master/lib/adapters 。 

e 对 我 们 创建 的 例子 的 完美 补充 是 level-filesystem， 它 是 在 LevelUP 之 上 
的 fs API 的 正确 实现 。 


策略 模式 ( Strategy ) 


策略 模式 通过 将 可 变 部 分 提取 为 单独 的 ， 可 交换 的 对 象 Strategy 来 使 对 

象 Context 支持 其 远 辑 中 的 变化 。 Context 实现 通用 逻辑 ， 而 策略 实现 了 可 变 
部 分 ， 人 允许 上 下 文 根 据 不 同 因 素 (如 输入 值 ， 系 统 配置 或 用 户 偏 好 ) 调整 其 行为 。 
这 些 策略 通常 是 解决 方案 的 一 部 分 ， 他 们 都 实现 了 相同 的 接口 ， 这 是 Context 对 
象 所 期 望 的 接口 。 下 图 显示 了 我 们 刚刚 描述 的 情况 : 


Context 





上 图 显示 了 Context 对 象 如 何 将 不 同 的 策略 插入 到 其 结构 中 ， 就 好 像 它 们 是 一 个 
机 器 的 可 替换 部 分 一 样 。 想 象 一 下 汽车 ， 其 轮胎 可 以 视 为 适应 不 同 路 况 的 策略 。 我 
们 可 以 安装 冬季 轮胎 在 雪 路 上 行驶 ， 这 要 归功 于 他 们 的 螺栓 ， 而 我 们 可 以 决定 为 高 
速 公 \ 路 行驶 的 高 性 能 轮胎 做 长 途 旅行 。 一 方面 ， 我 们 不 想 把 整个 车 改变 ， 另 一 方 

面 ， 我 们 不 想 要 一 辆 和 八 轮 车 ， 这 样 就 可 以 在 任何 一 条 路 上 行驶 。 


， 不 仅 有 助 于 分 离 算法 中 的 关注 点 ， 而 且 还 使 其 
具有 更 好 的 灵活 性 并 适应 同一 问题 的 不 同 变化 。 


策略 模式 在 支持 算法 变化 需要 复杂 的 条 件 逻 辑 (大 量 的 if...else 或 switch 语 
句 ) 或 混合 同一 族 不 同 算 法 的 所 有 情况 下 特别 有 用 。 设 想 一 个 名 为 Order 的 对 
象 ， 表 示 一 个 电子 商务 网 站 的 在 线 订单 。 该 对 象 有 一 个 名 为 pay( ) 的 方法 ， 就 像 
它 说 的 那样 ， 完 成 订单 并 将 资金 从 用 户 转 移 到 商城 用 户 。 


为 了 支持 不 同 的 支付 系统 ， 我 们 有 几 个 选项 ， 如 下 所 示 : 


。 在 pay() 方法 中 使 用 if...else 语句 来 完成 基于 操作 的 操作 。 
。 在 选择 的 付款 选项 上 将 支付 的 这 辑 委托 给 实现 用 户 选择 的 特定 支付 网 关 远 辑 的 
策略 对 象 。 


在 第 一 种 解决 方案 中 ， 我 们 的 订单 对 象 不 能 支持 其 他 支付 方式 ， 除 非 其 代码 被 修 
改 。 而 且 ， 当 支付 选项 的 数量 增加 时 ， 这 可 能 变 得 相当 复杂 。 相 反 ， 使 用 策略 模式 
使 得 Order 对 象 支持 几乎 无 限 数量 的 支付 方法 ， 并 且 保 持 其 范围 仅 限 于 管理 用 户 
的 细节 ， 购 买 的 项 目 和 相对 价格 ， 同 时 将 完成 支付 的 工作 委派 给 另 一 个 对 象 。 


现在 让 我 们 用 一 个 简单 实际 的 例子 来 展示 这 个 模式 。 
多 格式 配置 对 象 
让 我 们 考虑 一 个 名 为 Config 的 对 象 ， 该 对 象 包含 应 用 程序 使 用 的 一 组 配置 参数 ， 


例如 数据 库 URL， 服 务 器 的 侦 听 端口 等 。 Config 对 象 应 该 能 够 提供 一 个 简单 的 接 
口 来 访问 这 些 参 数 ， 而 且 还 可 以 使 用 持久 性 存储 (如 文件 ) 导入 和 导出 配置 。 我 们 


希望 能 够 支持 不 同 的 格式 来 存储 配置 ， 例 如 JSON ， INI 或 YAML 。 


-号 


通过 应 用 我 们 了 解 的 策略 模式 ， 我 们 可 以 立即 识别 Config 对 象 的 变量 部 分 ， 这 
允许 我 们 序列 化 和 反 序 列 化 配置 的 功能 。 


让 我 们 创建 一 个 名 为 config.js 的 新 模块 ， 让 我 们 定义 配置 管理 器 的 通用 部 分 : 


Pi 


const fs = require('fs'); 
const objectPath = require('object-path'); 
class Config { 
constructor(strategy) { 
this.data = {}; 
this.strategy = strategy; 


} 
get(path) { 

return objectPath.get(this.data, path); 
} 


4 
} 


在 前 面 的 代码 中 ， 我 们 将 配置 数据 封装 到 一 个 实例 变量 ( this.data ) 中 ， 然 后 
我 们 提供 了 set() 和 get() 方法 ， 允 许 我 们 使 用 object-path 访问 配置 属性 
(例如 ， property.subProperty ) ， 通 过 利用 object-path。 在 构造 防 数 中 ， 我 
们 也 采取 了 一 种 策略 作为 输入 ， 它 代表 解析 和 序列 化 数据 的 算法 。 


现在 让 我 们 看 看 我 们 将 如 何 使 用 策略 ， 开 始 编写 Config 类 的 剩余 部 分 : 


Const fs'= require( fs ) 
const objectpPath = require('object-path ' ) ， 


class Config { 
constructor(strategy) { 
this.data = {}; 
this.strategy = strategy; 
} 


get(path) { 
return objectPath.get(this.data, path); 


} 


set(path, value) { 
return objectPath.set(this.data, path, value); 


} 


read(file) { 
console.log( “Deserializing from ${file}. ); 
this.data = this,.strategy.deserialize(fs.readFileSync(file, 
'utf-8")); 
} 


save(file) { 
console.log( Serializing to ${file}. ); 
fs.writeFileSsync(file, this.strategy.serialize(this.data)); 
} 
} 


module.exports = Config; 


在 前 面 的 代码 中 ， 当 从 文件 中 读 取 配置 时 ， 我 们 将 反 序 列 化 任务 委托 给 策略 ; 那么 
当 我 们 想 把 配置 保存 到 文件 中 时 ， 我 们 使 用 策略 来 序列 化 配置 。 这 个 简单 的 设计 允 
许 Config 对 象 在 加 载 和 保存 数据 时 支持 不 同 的 文件 格式 。 


为 了 演示 这 一 点 ， 我 们 在 一 个 名 为 strategies.js 的 文件 中 创建 一 些 策略 。 让 我 
们 从 解析 和 序列 化 JSON 数据 的 策略 开始 : 


module.exports.json = { 
deserialize: data => JSON.parse(data), 
serialize: data => JSON.stringify(data, null, ' ') 


} 


没有 什么 复杂 的 ! 我 们 的 策略 简单 地 实现 了 接口 ， 以 便 它 可 以 被 Config 对 象 使 
用 “。 


同样 ， 我 们 要 创建 的 下 一 个 策略 允许 我 们 支持 INI 文件 格式 : 


const ini = require('ini'); // https://npmjs.org/package/ini 
module.exports.ini = { 

deserialize: data => ini.parse(data), 

serialize: data => ini.stringify(data) 


} 


现在 ， 为 了 向 您 展示 如 何 结合 在 一 起 ， 我 们 创建 一 个 名 为 configTest.js 的 文 
件 ， 让 我 们 尝试 使 用 不 同 的 格式 文件 加 载 和 保存 示例 配置 : 


const Config = require('./config"'); 

const strategies = require('./strategies'); 

const jsonconfig = new Config(strategies.]json); 
JsonConfig.read('samples/conf.json'); 
JsonConfig.set('book.nodejs', 'design patterns ' ) ， 
JsonConfig.save('samples/conf_mod.json'); 

const iniConfig = new Config(strategies.ini); 
iniConfig.read('samples/conf.ini'); 
iniConfig.set('book.nodejs', 'design patterns'); 
iniConfig.save('samples/conf_mod.ini"); 


我 们 的 测试 模块 揭示 了 策略 模式 的 属性 。 我 们 只 定义 了 一 个 Config 类 ， 它 实现 了 
我 们 的 配置 管理 器 的 公共 部 分 ， 同 时 改变 了 用 于 序列 化 和 反 序 列 化 的 策略 ， 允 许 我 
们 创建 支持 不 同文 件 格式 的 不 同 Config 实例 。 


前 面 的 例子 只 显示 了 使 用 策略 模式 实现 多 格式 配置 对 象 的 方法 之 一 。 其 他 有 效 的 方 
法 可 能 如 下 : 


@ 创建 两 个 不 同 的 策略 系列 : 一 个 用 于 反 序 列 化 ， 另 一 个 用 于 序列 化 。 这 将 允许 
从 格式 读 取 并 保存 到 另 一 个 格式 。 

@ 根据 所 提供 文件 的 扩展 名 ， 动 态 选择 策略 ; Config 对 象 可 以 保持 一 
个 map extension -> strategy ， 并 用 它 来 为 给 定 的 扩展 名 选择 正确 的 算 
法 。 


正如 我 们 所 看 到 的 ， 有 几 种 选择 使 用 策略 的 选择 ， 正 确 的 选择 取决 于 我 们 的 要 求 ， 
以 及 我 们 布 望 获得 的 特性 /简单 性 的 折衷 。 

而 且 ， 模 式 本 身 的 实现 可 能 会 有 很 大 的 不 同 ， 例 如 ， 以 其 最 简单 的 形 

式 ， context 和 strategy 都 可 以 是 简单 的 函数 : 


funecronncontext(Sstrategqy 


尽管 前 面 的 情况 看 起 来 可 能 微不足道 ， 但 在 Javascript 等 编程 语言 中 ， 函 数 是 
一 等 公民 ， 并 且 可 以 用 作 完 全 成 熟 的 对 象 。 


在 所 有 这 些 变化 之 间 ， 不 变 的 是 模式 背后 的 思想 ; 模式 的 实现 可 以 稍微 改变 ， 但 驱 
动 模式 实现 的 核心 概念 永远 是 一 样 的 。 


实际 应 用 场景 


Passport.js 是 Node ,js 的 认证 框架 ， 它 允许 在 Web 服务 器 上 支持 不 同 的 认证 方 

案 。 通 过 passport ， 我 们 可 以 轻松 使 用 Facebook 登录 或 使 用 Twitter 登录 

功能 到 我 们 的 Web 应 用 程序 。 Passport 使 用 策略 模式 将 认证 过 程 中 所 需 的 公共 
逻辑 与 可 以 更 改 的 部 分 ( 即 实际 的 认证 步骤 ) 分 开 。 例 如 ， 我 们 可 能 想 要 使 

用 OAuth 来 获取 访问 令 牌 来 访问 Facebook 或 Twitter 个 人 资料 ， 或 者 只 需 使 
用 本 地 数据 库 来 验证 用 户 名 /密码 。 对 于 Passport ， 这 些 都 是 完成 身份 验证 过 程 
的 不 同 策略 ， 正 如 我 们 所 能 想象 的 ， 这 使 得 这 个 库 可 以 支持 几乎 无 限 的 身份 验证 服 
务 。 客 户 以 看 看 hitp://passportjs.org/guide/providers 上 支持 的 不 同 身份 验证 ， 以 

了 解 策 略 模式 可 以 执行 的 操作 。 


状态 模式 ( State ) 

状态 模式 是 策略 模式 的 变 体 ， 策 略 根据 Context 的 状态 而 变化 。 我 们 在 前 面 的 章 
节 已 经 看 到 ， 如 何 根据 用 户 的 偏好 ， 配 置 参数 和 提供 的 输入 等 不 同 的 变量 来 选择 一 
个 策略 ， 一 旦 这 个 选择 完成 ， 策 略 在 Context 剩余 的 寿命 期 间 保 持 不 变 。 

相反 ， 在 状态 模式 中 ， 策 略 (在 这 种 情况 下 也 称 为 状态 ) 是 动态 的 ， 可 以 


在 Context 的 生命 周期 中 改变 ， 从 而 允许 其 行为 根据 其 内 部 状态 进行 调整 ， 如 下 
图 所 示 : 


State A State B State C 


Context Context Context 


Strategy B Strategy C 





想象 一 下 ， 我 们 有 一 个 酒店 预订 系统 和 一 个 Reservation 对 象 来 模拟 房间 预订 。 


这 是 一 个 经 典 的 情况 ， 我 们 必须 根据 其 状态 来 调整 对 象 的 行为 。 考 虑 以 下 一 系列 事 
件 : 

1. 当 订 单 初 始 创建 时 ， 用 户 可 以 使 用 confirm() 方法 确认 订单 ; 当然 ， 他 们 不 
能 使 用 cancel() 方法 取消 预约 ， 因 为 订单 还 没有 被 确认 。 但 是 ， 如 果 他 们 在 
购买 之 前 改变 主意 ， 他 们 可 以 使 用 delete() 方法 删除 它 。 

2. 一 旦 确认 订单 ， 再 次 使 用 confirm() 方法 没有 任何 意义 ; 不 过 ， 现 在 应 该 可 
以 取消 预约 ， 但 不 能 再 删除 ， 因 为 要 保留 对 应 记录 。 


3. 在 预约 日 期 前 一 天 ， 不 应 取消 订单 。 因 为 这 太 迟 了 。 


现在 想象 一 下 ， 我 们 必须 实现 我 们 在 一 个 单一 的 对 象 中 描述 的 预订 系统 ; 我 们 已 经 
可 以 画 出 所 有 的 if.. .else 或 者 switch 语句 逻辑 图 ， 这 些 语句 是 我 们 必须 写 
的 ， 以 便 根 据 预 留 的 状态 来 启用 /禁用 每 个 动作 。 


在 这 种 情况 下 ， 状 态 模式 是 完美 的 : 将 会 有 三 种 策略 ， 全 部 实现 描述 的 三 个 方法 
( confirm() ， cancel() 和 delete() ) ， 每 个 只 执行 一 个 行为 ， 一 个 策略 
对 应 于 一 种 状态 。 通 过 使 用 状态 模式 ， Reservation 对 象 从 一 个 行为 切换 到 另 一 
个 行为 应 该 是 非常 容易 的 。 这 只 需要 在 每 个 状态 变化 上 激活 一 个 不 同 的 策略 。 


状态 转换 可 以 由 Context 对 象 ， 客 户 端 代码 或 State 对 象 本 身 启 动 和 控制 。 通 
常 由 State 对 象 本 身 控 制 ， 因 为 这 在 灵活 性 和 解 看 方面 效果 较 好 ， 因 
为 Context 对象 不 必 知 道 所 有 可 能 的 状态 以 及 如 何在 它们 之 间 转 换 。 


实现 一 个 基本 的 fail-safe socket 


现在 我 们 来 看 一 个 具体 的 例子 ， 以 便 我 们 能 够 运用 我 们 所 了 解 到 的 状态 模式 。 让 我 
们 建立 一 个 客户 端 TCP 套 接 字 ， 当 与 服务 器 的 连接 丢失 时 不 会 丢失 客户 端 请 求 ; 
相反 ， 我 们 希望 将 服务 器 处 于 脱 机 状态 的 时 间 内 发 送 的 所 有 数据 进行 排 了 从， 然后 在 
连接 重新 建立 后 立即 尝试 发 送 。 我 们 希望 在 一 个 简单 的 监控 系统 中 利用 这 个 套 接 
字 ， 在 这 个 系统 中 ， 一 组 机 器 每 隔 一 段 时 间 发 送 一 些 关 于 资源 利用 率 的 统计 信息 ; 
如 果 收 集 这 些 资 源 的 服务 器 关闭 ， 则 我 们 的 套 接 字 将 继续 在 本 地 排队 数据 ， 直 到 服 
务 器 重新 联机 为 止 。 


首先 创建 一 个 名 为 failsafeSocket.js 的 模块 来 表示 我 们 的 context 对 象 : 


const OfflineState = require('./offlineState'); 
const Onlinestate = require('./onlineState'); 


class FailsafeSocket { 
constructor (options) { // [1] 
this.options = options,; 
this.queue = []; 
this.currentState = null; 
this.socket = null; 
this.states = { 
offline: new OfflineState(this), 
online: new OnlineState(this) 
}; 
this.changeState('offline'); 
} 


changeState (state) { // [2|] 
console.log('Activating state: ' + state); 
this.currentState = this.states[statel]; 
this.currentState.activate(); 


} 


send(data) { // [3] 
this.currentState. send(data); 


} 
} 


module.exports = options => { 
return new FailsafeSocket(options); 


}; 


FailsafeSocket 类 由 三 个 主要 元 素 组 成 : 


1. 构造 济 数 初始 化 各 种 数据 结构 ， 包 括 将 包含 在 套 接 字 脱 机 时 发 送 的 任何 数据 的 
队列 。 此 外 ， 它 还 创建 了 一 组 两 个 状态 ， 一 个 用 于 在 脱 机 状态 下 实现 套 接 字 的 
行为 ， 另 一 个 用 于 在 套 接 字 处 于 联机 状态 时 的 状态 。 

2. changeState() 方法 负责 从 一 个 状态 转换 到 另 一 个 状态 。 它 只 是 更 
新 currentState 实例 变量 ， 并 调用 目标 状态 的 activate() 。 

3. send() 方法 是 套 接 字 的 功能 ， 这 是 我 们 希望 基于 离线 /在 线 状 态 具 有 不 同行 
为 的 地 方 。 我 们 可 以 看 到 ， 这 是 通过 将 操作 委托 给 当前 活动 状态 来 完成 的 。 


现在 让 我 们 来 看 看 这 两 个 状态 是 什么 样子 的 ， 从 offlineState.js 模块 开始 : 


const jot = require('json-over-tcp'); // [1] 
module.exports = class OfflineState { 


constructor (failsafeSocket) { 
this.failsafeSocket = failsafeSocket; 


} 


send(data) { // [2|] 
this.failsafeSocket.queue.push(data); 


} 


activate() { // [3] 
const retry = () => { 
setTimeout(() => this.activate(), 500); 
}; 


this.failsafeSocket.socket = jot.connect( 
this.failsafeSocket .options, 
() => { 


this.failsafeSocket.socket.removeListener('error', retry 


this.failsafeSocket.changeSstate( 'online'); 
} 
) 
this.failsafeSocket.socket.once('error', retry); 
} 
}; 


我 们 创建 的 模块 负责 在 脱 机 状态 下 管理 套 接 字 的 行为 : 


我们 将 使 用 一 个 名 为 json-overtcp 的 库 来 代替 使 用 原始 台 的 TCP 套 接 字 ， 这 将 
使 我 们 能 够 轻松 地 在 一 个 TcP 连接 中 发 送 JSON 对 象 。 

2. send() 方法 只 负责 排队 它 接收 到 的 任何 数据 。 我 们 假设 我 们 是 离线 的 ， 这 就 
是 我 们 需要 做 的 。 

3. activate() 方法 尝试 使 用 json-over-tcp ww 建立 连接 。 如 果 操 作 失 
败 ， 则 在 500 毫秒 后 再 次 尝试 。 它 会 继续 尝试 ， 直 到 建立 有 效 的 连接 ， 在 这 

种 情况 下 ， failafeSocket 0 ° 


接 下 来 ， 让 我 们 实现 onlinesState.js 模块 ， 然 后 让 我 们 实现 onlineState 策 


略 ， 如 下 所 示 : 


module.exports = class OnlineState 1 
constructor(failsafeSocket) { 
this.failsafeSocket = failsafeSocket; 


} 


send(data) { // [1|] 
this.failsafeSocket.socket .write(data); 


}; 


activate() { // [2| 
this.failsafeSocket.queue.forEach(data => { 
this.failsafeSocket.socket .write(data); 


jp 


this.failsafeSocket.queue = []; 


this.failsafeSocket.socket.once('error', () => { 
this,falilsafeSocket ,changeState( 'offline' ); 
}); 
} 
}; 


OnlineState 策略 非常 简单 ， 解 释 如 下 


1. send() 方法 直接 将 数据 写 入 套 接 字 ， 因 为 我 们 假设 TCP 已 连接 。 

2.， activate() 方法 刷新 套 接 字 处 于 脱 机 状态 时 排队 的 所 有 数据 ， 并 且 还 开始 
监听 任何 error 事件 ; 我 们 将 把 这 个 作为 套 接 字 下 线 的 前 兆 。 发 生 这 种 情况 
时 ， 我 们 转换 到 offline 状态 。 


这 就 是 failsafeSocket ; 现在 我 们 准备 构建 一 个 示例 客户 端 和 一 个 服务 器 来 党 
试 。 把 服务 器 器 代码 放 在 一 个 名 为 server ,js 的 模块 中 : 


const jot = require('json-over-tcp'); 

const server = jot.createServer({ 
port: 5000 

}); 

server.on('connection', socket => { 
socket.on('data', data => { 

console.log('Client data', data); 

}); 

}); 


server.listen({ 
port: 5000 
}, () => console.log('Started')); 


注意 : 原 书 的 代码 有 错 ， 现 在 的 jot .createServer() 接受 的 参数 是 一 个 对 


p> 


象 ， 这 里 把 书 上 的 5000 改 为 { post: 5000 }。 


然后 看 客户 端 代 码 client.js 


const createFailsafeSocket = require('./failsafeSocket'); 
const failsafeSocket = createFailsafeSocket({ 
port: 5000 


setInterval(() => { 
// 每 隔 1000 毫 秒 发 送 当 前 内 存 使 用 状态 
falilsafeSocket .send(process ,memoryUsage() ) ， 
}, 1000); 
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我 们 的 服务 器 只 是 打印 它 接收 到 的 任何 JSON 对 象 消息 给 控制 台 ， 而 我 们 的 客户 端 
利用 一 个 FailsafeSocket 对 象 每 秒 发 送 一 次 内 存 利用 率 的 测量 值 。 


尝试 构建 的 小 型 系统 ， 我 们 应 该 运行 客户 端 和 服务 器 ， 然 后 通过 停止 人 后 重新 启 芭 

及 务 器 来 测试 failafeSocket 的 功能 。 我 们 应 该 看 到 ， 客 户 端 的 状态 在 线 和 离线 
之 间 发 生 了 赤 和 2 服务 器 离线 时 收集 的 任何 请 求 都 会 排队 ， 然 后 在 服务 器 重新 联机 
后 重新 发 送 。 


这 个 例子 应 该 清楚 地 说 明 状态 村 贰 式 如 何 能 够 帮助 增加 一 个 组 件 的 模块 化 和 可 读 性 ， 
这 个 组 件 必 须根 据 状 态 来 调整 它 的 行为 。 


我 们 在 本 节 中 构建 的 FailsafeSocket 类 仅 用 于 演示 状态 模式 ， 并 不 希望 成 
为 处 理 TCP 套 接 字 内 连接 问题 的 完整 且 100% et 。 例如， 我 们 
不 验证 写 入 套 接 字 流 ， 而 让 所 有 数据 都 被 服务 器 接收 到 ， 这 将 需要 更 多 与 我 们 
想 描 述 的 模式 无 关 的 代码 。 


模板 模式 ( Template ) 


我 们 将 要 分 析 的 下 一 个 模式 叫做 模板 村 人 略 模 式 有 许多 共同 点 。 模 板 由 定 
义 一 个 抽象 的 伪 类 组 成 ， 它 代表 了 算法 的 框架 ， 其 中 一 些 步骤 是 未 定义 的 。 然 后 子 
类 可 以 通过 实现 缺少 的 步骤 填充 算法 中 的 空白 ， 称 为 模板 方法 。 这 种 入 英 式 的 目的 是 
使 定义 一 个 类 的 家 族 成 为 可 能 ， 这 些 类 都 是 类 似 萌 法 的 变 体 。 下 面 的 UML 图 显示 
了 我 们 刚刚 描述 的 结构 : 





Template 


+ foo() 
+bar() 
+templateMethod!() 





1 pe 
Extends a 


ConcreteA ConcreteB | ConcreteC 











+ templateMethod() + templateMethod() + templateMethod() 

















上 图 中 显示 的 三 个 具体 类 扩展 了 Template 并 为 templateMethod() 提供 了 一 个 
实现 ， 使 用 C++ 术语 来 说 ， 该 实现 方法 是 抽 名 引 或 者 说 是 虚 冰 数 ; 

在 JavaScript 中 ， 这 意味 着 该 方法 是 未 定义 的 或 被 分 配给 一 个 总 是 抛 出 异常 的 
函数 ， 这 表明 该 方法 必须 被 实现 。 模 板 模式 可 以 被 认为 a 目前 所 看 到 的 其 他 模 
式 更 加 符合 面向 对 象 思想 2 因为 继承 是 其 实现 的 核心 部 分 


模板 模式 和 策略 模式 的 目的 非常 相似 ， 但 两 者 的 主要 区 别 在 于 它们 的 结构 和 实现 。 
两 者 都 允许 我 们 改变 算法 的 某 些 部 分 ， 同 时 重用 公共 部 分 ; 然而 ， 尽 管 策略 模式 允 
许 我 们 在 运行 时 动态 地 执行 它 ， 但 使 用 模板 模式 完成 算法 是 在 具体 类 被 定义 的 时 候 
确定 的 。 在 这 些 假设 下 ， 模 板 模 式 可 能 更 适合 那些 我 们 想 要 创建 一 个 算法 的 预先 打 
包 的 变 体 的 情况 。 与 往 en ， 一 种 模式 与 另 一 种 模式 的 选择 取决 于 开发 者 ， 他 们 
必须 考虑 每 个 用 例 的 各 种 利 况 


使 用 模板 模式 的 配置 管理 器 

为 了 更 好 地 了 解 模板 模式 和 状态 模式 之 间 的 区 别 ， 现 在 让 我 们 重新 实现 我 们 在 关于 
策略 模式 的 章节 中 定义 的 Config 对 象 ， 但 是 这 次 使 用 模板 模式 。 就 像 以 前 版 本 
的 Config 对 象 一 样 ， 我 们 希望 能 够 使 用 不 同 的 文件 格式 来 加 载 和 保存 一 组 配置 属 
性 个 


首先 定义 模板 类 ， 我 们 将 其 称 为 ConfigTemplate 


const fs'= require( fs ),; 
const objectPath = require('object-path"'); 
class ConfigTemplate { 
read(file) { 
console.log( “Deserializing from ${file}. ); 
this.data = this._ deserialize(fs.readFileSync(file, 'utf-8') 


Dy 


save(file) { 
console.Jog( Serializing to ${filey ); 
fs.writeFileSync(file, this. serialize(this,.data)); 


} 
get(path) { 
return objectPath.get(this.data, path); 


} 
set(path, value) { 
return objectPath.set(this.data, path, value); 


} 


_Sserialize() { 
throw new Error('_serialize() must be impJemented ' ) ， 


} 


_deserialize() { 
throw new Error('_deserialize() must be implemented'); 


} 


module.exports = ConfigTemplate; 


新 的 ConfigTemplate 类 定义 了 两 个 模板 方 

法 : deserialize() 和 _serialize() ， 它 们 是 执行 加 载 和 保存 配置 所 需 的 。 
名 称 开 头 的 下 划 线 表示 它们 仅 供 内 部 使 用 ， 这 是 一 种 标记 受 保护 方法 的 简单 方法 。 
由 于 在 Javascript 中 我 们 不 能 将 方法 声明 为 抽象 方法 ， 我 们 简单 地 将 它们 定义 
为 存根 ， 如 果 它 们 被 调用 〈 即 ， 如 果 它 们 没有 被 具体 子 类 履 盖 ) 则 抛 出 异常 。 


现在 让 我 们 使 用 我 们 的 模板 创建 一 个 具体 的 类 ， 例 如 ， 人 允许 我 们 使 用 JSON 格式 加 
载 和 保存 配置 : 


const util = require('util"'); 
const ConfigTemplate = require('./configTemplate'); 
class JsonConfig extends ConfigTemplate { 

_deserialize(data) { 

return JSON.parse(data); 

}; 

_serialize(data) { 

return JSON.stringify(data, null, ' '); 
} 


module.exports = JsonConfig; 


JsonConfig 类 从 我 们 的 模板 ， ConfigTemplate 类 和 

为 _deserialize() 和 serialize() 方法 提供 了 一 个 具体 的 实 

现 。 JsonConfig 类 现在 可 以 作为 独立 的 配置 对 象 使 用 ， 而 不 使 用 需要 指定 一 个 
序列 化 和 反 序 列 化 的 策略 ， 因 为 它 是 在 类 本 身 中 实现 的 : 


const JsonConfig = @ ~ /jsonConfig ), 
const jsonConfig = new JsonConfig(); 
JsoncCconfig.read('samples/conf .json ' ) ， 


jsoncConfig.set('nodejs'，'design patterns ' ) ， 
JsoncConfig.save('samples/conf_mod.]json'); 


xX ..6/18_template 
18_template git:( 


ep] 


18_template git:( 


18_template git:(master) 


) 18_template git:(master) 





通过 使 用 模板 模式 ， 我 们 可 以 通过 重复 使 用 从 父 模 板 类 继承 的 逻辑 和 接口 ， 仅 提供 
一 些 抽象 方法 的 实现 ， 从 而 使 我 们 能 够 获得 一 个 全 新 的 完全 配置 管理 器 。 


实际 应 用 场景 


这 种 模式 不 应 该 听 起 来 对 我 们 来 说 是 全 新 的 。 我 们 已 经 

在 Chapter 5-Coding with Streams 时 遇 到 过 它 ， 当 我 们 扩展 不 同 

的 Streams 类 来 实现 我 们 的 自 定 义 流 。 在 这 种 情况 下 ， 模 板 方法 

是 write() ，_read() ， _transform() 或 _ flush() 方法 ， 具 体 取决 于 我 
们 想 要 实现 的 流 类 。 要 创建 一 个 新 的 自 定义 流 ， 我 们 需要 从 一 个 特定 的 抽象 流 类 继 
承 ， 为 模板 方法 提供 一 个 实现 。 


命令 模式 ( Command ) 


命令 模式 是 在 Node.js 中 另 一 个 重要 的 设计 模式 。 在 其 最 通用 的 定义 中 ， 命 令 和 

式 封 装 了 主体 对 象 信息 ， 并 对 主体 对 象 执 行 一 个 动作 ， 而 不 是 在 主体 对 象 上 直接 调 

用 一 个 方法 或 一 个 函数 ， 我 们 创建 一 个 对 象 invocation 执行 oa 那 

么 实现 这 个 意图 将 是 另 一 个 组 件 的 责 任 ， 将 其 转化 为 实际 行动 。 传 统 上 ， 这 个 模式 
是 围绕 着 四 个 主要 的 组 件 ， ， 如 下 图 所 示 : 





Client Invoker Target 


| Command |—+ +» Command |-- 











命令 模式 的 典型 组 织 可 以 描述 如 下 : 


Command : 这 是 封装 调用 一 个 必要 信息 的 对 象 方法 或 功能 。 

Client : 这 将 创建 该 命令 并 将 其 提供 给 调用 者 。 

Invoker : 这 是 负责 执行 目标 上 的 命令 。 

Target (或 Receiver ) : 这 是 调用 的 主题 。 它 可 以 是 一 个 单独 的 功能 3 
对 象 的 方法 。 


正如 我 们 将 看 到 的 ， 这 四 个 组 件 可 以 根据 我 们 想 要 的 方式 变化 很 多 实施 模式 ; 在 这 
一 点 上 ， 这 听 起 来 不 是 什么 新 鲜 事 。 使 用 命令 模式 而 不 是 直接 执行 一 个 操作 有 好 几 


个 。 


优点 和 应 用 : 


e 命令 可 以 安排 在 稍 后 执行 。 

e 一 个 命令 可 以 很 容易 地 序 0 。 这 很 简单 ， 属 性 允许 我 们 在 远 

程 机 器 上 分 配 作业 ， 传 输 命 

从 浏览 器 到 服务 器 ， 创 建 Ee 系统 等 等 。 

通过 命令 可 以 很 容易 地 在 系统 上 保存 所 有 执行 的 操作 历史 记录 。 

命令 是 一 些 数据 同步 算法 的 重要 组 成 部 分 和 解决 冲突 。 

计划 执行 的 命令 如 果 尚 未 执行 ， 则 可 以 取消 。 它 也 可 以 恢复 (撤消) ， 使 应 用 

ss 

e。 几 个 命令 可 以 组 合 在 一 这 可 以 用 来 创建 原子 交易 或 实施 一 个 机 制 ， 从 而 在 
所 有 的 操作 0 

e@ 可 以 对 一 组 命令 执行 不 同类 型 的 转换 ， 例 如 作为 重复 删除 ， ds ， 或 应 
用 更 复杂 的 算法 如 0perational Transformation ( 0T )， 这 是 当今 大 多 数 
的 基础 实时 协作 软件 ， 如 协同 文本 编辑 。 


前 面 的 列表 清楚 地 向 我 们 展示 了 这 种 模式 的 重要 性 ， 特 别 是 在 node.js 这 样 的 平 
台中 ， 网 络 和 异步 执行 是 必 不 可 少 的 参与 者 。 


灵活 模式 


正如 我 们 已 经 提 到 的 ， JavaScript 中 的 命令 模式 可 以 通过 许多 不 同 的 方式 实 
现 ; 我 们 现在 只 演示 其 中 的 几 个 ， 只 是 为 了 给 出 它 的 范围 的 概念 。 


任务 模式 


我 们 可 以 从 最 基本 的 和 平凡 的 实现 开始 : 任务 模式 。 当 然 ， JavaScript 中 创建 
一 个 表示 调用 的 对 象 的 最 简单 方法 是 创建 一 个 关闭 : 


function createTask(target, args) { 
return () => { 
target.apply(null, args); 
} 


} 


这 看 起 来 一 点 也 不 新 鲜 ; 我 们 已 经 在 书 中 多 次 使 用 了 这 种 模式 ， 特 别 是 在 第 3 章 ， 
带 有 回调 的 异步 控制 流 模 式 中 。 这 种 技术 允许 我 们 使 用 单独 的 组 件 来 控制 和 调度 任 
务 的 执行 ， 这 在 本 质 上 等 同 于 命令 模式 的 调用 者 。 例 如 ， 您 还 记得 我 们 是 如 何 定义 
传递 给 异步 库 的 任务 的 吗 ? 或 者 更 好 的 是 ， 你 还 记得 我 们 是 如 何 结合 使 用 发 电机 的 
吗 ? 回调 模式 本 身 可 以 被 认为 是 命令 模式 的 一 个 非常 简单 的 版 本 。 


较 复 杂 的 命令 模式 


现在 让 我 们 来 处 理 一 个 更 复杂 的 命令 的 示例 ; 这 一 次 我 们 希望 支持 撤消 和 序列 化 。 
让 我 们 从 命令 的 目标 开始 ， 这 个 小 对 象 负责 向 Twitter 这 样 的 服务 发 送 状 态 更 新 。 为 
了 简单 起 见 ， 我 们 使 用 这 种 服务 的 模拟 : 


const statusUpdateService = { 

statusUpdates: {}, 

sendUpdate: function(status) { 
console.log('Status sent: ' + status); 
Design Patterns 
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let id = Math.floor(Math.random() * 1000000 ) ; 
statusUpdateService.statusUpdates[id] = status; 
return id; 


}, 
destroyUpdate: id => { 

console.log('Status removed: ' + id); 

delete statusUpdateService.statusUpdates[id]; 
} 


J 


现在 ， 让 我 们 创建 一 个 命令 来 表示 新 状态 更 新 的 发 布 : 


function createsendstatusEmd(service, status) { 
let postId = null; 
const command = () => { 
postId = service.sendUpdate(status); 
}; 


command .undo = () => { 
If (postId) { 
service.destroyUpdate(postId); 
postId = null; 


} 

}; 

command.serialize = () => { 
return { 


type: "Status ' ， 
action: 'post', 
Status: Status 


ee 


了 
return command; 


前 面 的 函数 是 一 个 工厂 ， 它 生成 新 的 sendstate 命令 。 每 个 命令 实现 以 下 三 个 功 
能 : 


. 命令 本 身 是 一 个 函数 ， 当 调用 它 时 ， 它 将 触发 探 作 ; 换 名 话说 ， 它 实现 了 我 们 
前 面 看 到 的 任务 模式 。 该 命令 在 执行 时 将 使 用 目标 服务 的 方法 发 送 新 的 状态 更 
新 。 

2. 连接 到 主任 务 的 auto() 却 数 ， 该 函数 恢复 操作 的 效果 。 在 我 们 的 例子 中 ， 我 
们 只 是 调用 目标 服务 上 的 deadyupdate() 方法 。 

3. ”serialize() 有 函数， 它 构 建 一 个 json 对 象 ， 该 对 象 包 ee 
象 所 需 的 所 有 信息 。 在 此 之 后 ， 我 们 可 以 构建 宇 一 个 调用 程序 我 们 可 以 通 过 实 
现 它 的 构造 函数 和 它 的 run() 方法 来 开始 : 


class Invoker 
constructor() 
this.history 
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} 

run(cmd) { 
this.history.push(cmd); 
cmd( ); 


console.log('Command executed', cmd.serialize()); 


} 
} 


前 面 定 义 的 run() 方法 是 Invoker 的 基本 功能 ; 它 负 责 将 命令 保存 
下 的 执行 。 按 下 来 ， 我 们 可 以 添加 
一 个 延迟 执行 命令 的 新 方法 : 


delay(cmd, delay) { 
setTimeout(() => { 
this.run(cmd); 

}, delay) 

} 


然后 ， 我 们 可 以 实现 一 个 undo() 方法 来 恢复 最 后 一 个 命令 : 


undo() { 

const cmd = this.history.pop(); 

cmd .undo( ); 

console.log('Command undone', cmd.serialize()); 


最 后 ， 我 们 还 希望 能 够 在 远程 服务 器 上 运行 命令 ， 方 法 是 使 用 Web 服务 序列 
化 并 通过 网 络 传输 命令 : 
runRemotely(cmd) { 


request.post('http://localhost:3000/cmd', { 
json: cmd.serialize() 


console.log('Command executed remotely', cmd.serialize()) 


于 


既然 我 们 有 了 命令 、 调 用 程序 和 目标 ， 唯 一 缺少 的 组 件 就 是 客户 端 。 让 我 们 从 
实例 化 Invoker 开始 : 


const invoker = new Invoker(); 


然后 ， 我 们 可 以 使 用 以 下 代码 行 创建 一 个 命令 : 


const command = createSendStatusCmd(statusUpdateService, 'HI 


号 


现在 我 们 有 了 一 个 命令 ， 表 示 状 态 消 息 的 发 布 ; 然后 我 们 可 以 决定 立即 发 送 


已 。 


Invoker .run(command ) ， 


但 是 ， 我 们 犯 了 一 个 错误 ; 让 我 们 恢复 到 时 间 线 的 状态 ， 就 像 发 送 最 后 一 条 消 
息 之 前 的 情况 一 样 : 


invoker .undo( ); 


我 们 还 可 以 决定 从 现在 起 一 小 时 内 发 送 消息 : 


invoker.delay(command, 1000 * 60 * 60); 
或 者 ， 我 们 可 以 通过 将 任务 迁移 到 另 一 台 机 器 来 分 配 应 用 程序 的 负载 : 
Invoker .runRemotely(command); 


和 CC © localhost:3000/cmd 从 
:应 用 G Google 《)cGcitHub 党 百度 一 下 ， 你 就 


{ 
OK : true 
} 
我 们 刚刚 创建 的 一 个 小 例子 展示 了 如 何在 命令 中 包装 一 个 操作 可 以 打开 一 个 可 能 性 


es 是 冰山 一 角 。 


正如 最 后 的 讨论 ， 值 得 注意 的 是 ， 只 有 在 站 正 需 要 的 时 候 才 会 使 用 成 熟 的 命令 模 
式 。 事 实 上 ， 我 们 看 到 了 我 们 需要 编写 多 少 额外 的 代码 来 简单 地 调 

用 人 方法 ; 如 果 我 们 所 需要 的 只 是 一 个 调用 ， 那 么 一 个 复杂 
的 命令 就 会 被 杀 死 。 但 是 ， 如 果 我 们 需要 安排 任务 的 执行 ， en ， 那 
么 简单 的 任务 模式 提供 了 最 好 的 折 襄 。 如 果 相 反 ， 我 们 需要 更 高 级 的 特 ， 人 
支持 、 转 换 、 冲 突 解决 ， 或 者 我 们 前 面 描述 的 其 他 花哨 用 例 之 一 ， 那 么 对 命令 使 用 
更 复杂 的 表示 几乎 是 必要 的 。 


中 间 件 模式 ( Middleware ) 


Node.js 中 最 有 特色 的 模式 之 一 绝对 是 中 间 件 模式 。 不 幸 的 是 ， 对 于 没有 经 验 的 
人 来 说 ， 这 也 是 最 令 人 困惑 的 事情 之 一 ， 特 别 是 来 自 企 业 架构 的 开发 人 人员。 疑惑 的 
原因 可 能 与 中 同 件 这 个 术语 的 含义 有 关 ， 中 间 件 在 企业 架构 术语 中 表示 各 种 软件 套 
件 ， 这 些 软 件 套件 有 助 于 抽象 0S API 0 内 存 管 理 等 较 底 层 的 操 
作 ， 人 允许 开发 人 员 只 关注 应 用 程序 的 商业 案例 。 在 这 种 情况 下 ， 中 间 件 回顾 了 诸 


如 CORBA ， Enterprise Service Bus ， Spring ， JBoss 等 主题 ， 但 是 在 
更 通用 的 意义 上 ， 它 也 可 以 定义 任何 类 型 的 软件 层 ， 它 们 在 低级 服务 和 应 用 程序 字 
面 上 是 中 间 的 软件 ) 。 


Express 的 中 间 件 


在 Node.js 中 ，Express 广 泛 使 用 中 间 件 模式 。 在 Express 中 ， 事 实 上 ， 中 间 件 
表示 一 组 服务 ， 通 常 是 函数 ， 它 们 被 组 织 在 一 个 pipeline 中 ， 负 责 处 理 传 入 
的 HTTP 请 求 和 进行 响应 。 


Express 是 一 个 非常 独特 和 简约 的 网 络 框架 。 使 用 中 间 件 模式 是 一 种 有 效 的 策 
略 ， 它 多 许 开发 人 员 轻 松 创建 、 分 发 、 添 加 新 功能 到 当前 应 用 程序 。 


Express 中 间 件 是 以 下 形式 : 


function(req, res, next) { ... } 


在 这 里 ， req 是 传 入 的 HTTP 请 求 ，res 是 响应 ， next 是 当前 中 间 件 完成 其 
任务 时 调用 的 回调 ， 用 来 触发 pipeline 中 的 下 一 个 中 间 件 。 Express 中 间 件 执 
行 的 任务 包括 以 下 内 容 : 


解析 请 求 的 body 

压缩 /解压 req 和 res 对 象 
生成 访问 日 志 

管理 sessions 

管理 加 密 的 cookie 
提供 跨 站 请 求 伪 造 ( CSRF ) 保护 


这 些 都 是 与 应 用 程序 的 主要 业务 逻辑 没有 严格 关联 的 任务 ， 也 不 是 Web 服务 器 最 


核心 的 部 分 ; 它们 是 应 用 程序 公共 功能 的 中 间 件 ， 使 得 实际 的 请 求 处 理 程序 只 关注 
其 主要 业务 逻辑 。 从 本 质 上 讲 ， 这 些 公 共 中 间 件 是 很 有 必要 的 。 


中 间 件 的 模式 


在 Express 中 实现 中 间 件 的 技术 并 不 新 鲜 ， 实 际 上 ， 它 可 以 被 看 作 是 拦截 过 滤器 
模式 和 责任 链 模式 的 Node.js 版 本 。 用 更 一 般 的 术语 来 说 ， 它 也 代表 了 一 

个 pipeline 。 现 在 的 Node.js 中 ， 中 间 件 这 个 术语 不 只 是 在 Express 框架 中 
广泛 使 用 ， 而 是 代表 着 一 种 特殊 的 模式 ， 即 一 组 处 理 单元 ， 过 滤器 和 处 理 程序 以 函 
数 的 形式 连接 起 来 形成 一 个 异步 序列 ， 这 个 异步 序列 可 以 对 任何 类 型 数据 进行 预 处 
理 和 后 处 理 。 这 种 模式 的 主要 优点 是 灵活 性 ; 实际 上 ， 这 种 模式 使 我 们 能 够 以 极 低 
的 代价 生成 Node.js 基础 架构 ， 对 于 添加 应 用 程序 拓展 和 插件 上 提供 了 一 种 便捷 
灵活 的 方式 。 


如 果 您 想 了 解 更 多 关于 拦截 过 滤器 模式 ， 可 以 阅读 下 面 这 篇 文章 : 
http://www.oracle.com/technetwork/java/interceptingfilter-142169.html ， 这 篇 
文章 也 很 好 地 讲述 了 责任 链 模 式 : http://java.dzone.com/articles/design- 
patterns-uncovered-chain-of-responsibility 


下 图 显示 了 中 间 件 模式 的 组 件 : 


Middleware Manager 
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该 模式 的 基本 组 成 部 分 是 中 间 件 管理 器 ， 负 责 组 织 和 执行 中 间 件 功能 。 模 式 最 重要 
的 实现 细节 如 下 : 


e@ 新 的 中 间 件 可 以 通过 调用 use() 函数 来 注册 (这 个 函数 的 名 字 在 这 个 模式 的 
许多 实现 中 是 一 个 常见 的 约定 ， 但 我 们 可 以 选择 任何 名 字 ) 。 通 常情 况 下 ， 新 
的 中 间 件 只 能 附加 在 pipeline 的 末尾 ， 但 这 不 是 一 个 严格 的 规则 。 

@ 当 接 收 到 新 数据 进行 处 理 时 ， 注 册 的 中 间 件 在 异步 顺序 执行 流程 中 被 调 
用 。 pipeline 中 的 每 个 单元 接收 前 一 个 单元 的 执行 结果 作为 输入 。 

。 每 个 中 间 件 都 可 以 通过 简单 地 不 调用 回调 或 者 向 回调 传递 错误 来 决定 停止 进 一 
步 处 理 数据 。 锚 误 情 况 通常 会 触发 执行 另 一 个 专门 用 于 处 理 错 误 的 中 间 件 序 
列 。 


数据 如 何在 pipeline 中 处 理 和 传输 没有 严格 的 规定 。 一 般 说 来 处 理 数 据 的 方式 有 
以 下 几 点 : 


@ 为 结果 数据 增加 额外 的 属性 或 方法 ， 用 于 拓展 数据 
@ 用 某 种 处 理 的 结果 替换 结果 数据 
e@ 保持 数据 不 变 ， 但 总 是 返回 处 理 结果 的 副本 


如 何 选取 中 间 件 在 pipeline 中 传输 的 策略 ， 取 决 于 中 间 件 管理 器 的 实现 方式 以 及 
中 间 件 本 身 执行 的 处 理 类 型 。 


为 GMQ 创建 一 个 中 间 件 框架 


现在 让 我 们 通过 围绕 OMQ 消 息 传递 库 构 建 一 个 中 间 件 框架 来 演示 中 间 件 模 

式 。 gMQ (也 称 为 ZMQ 或 ZeroMQ ) 提供 了 一 个 简单 的 接口 ， 用 于 通过 各 种 协 
议 在 网 络 中 交换 原子 消息 ; 它 的 性 能 绝 佳 ， 其 基本 的 抽象 集 是 专门 构建 的 ， 以 促进 
自 定义 消息 体系 结构 的 实现 。 因 此 ， 经 常 选择 gMQ 来 构建 复杂 的 分 布 式 系 统 。 


在 Chapter11-Messaging and Integration Patterns ， 我 们 将 有 机 会 更 
详细 地 分 析 gMQ 的 特性 。 


BMQ 的 接口 相当 低级 ; 它 只 允许 我 们 为 消息 使 用 字符 串 和 二 进 制 缓冲 区 ， 所 以 任何 
编码 或 数据 的 自 定义 格式 都 必须 由 库 的 用 户 来 实现 。 


在 下 一 个 示例 中 ， 我 们 将 构建 一 个 中 间 件 基础 结构 ， 以 抽象 通过 gMQ 套 接 字 传 递 
的 数据 的 预 处 理 和 后 处 理 ， 以 便 我 们 可 以 透明 地 处 理 JSON 对 和 象 ， 同 时 无 颖 地 压缩 
通过 线路 传递 的 消息 。 

在 继续 该 示例 之 前 ， 请 确保 按照 此 URL 的 说 明 安 装 gMQ 库 : 


http://zeromq.org/intro:get-the-software 。 4.0 以 上 任何 版 本 都 应 该 足够 用 于 这 
个 例子 。 


中 间 件 管理 器 


围绕 gMQ 构建 中 间 件 基础 架构 的 第 一 步 是 创建 一 个 组 件 ， 负 责 在 中 间 件 管道 中 处 
理 收 到 的 消息 和 发 送 新 消息 。 为 此 ， 我 们 创建 一 个 名 
为 zmqMiddlewareManager ,js 的 新 模块 ， 并 如 下 定义 它 : 


module.exports = class ZmqMiddlewareManager { 
constructor(socket) { 
this.socket = socket; 
this.inboundMiddleware = []; // [1| 
this.outboundMiddleware = []; 
socket.on('message', message => { // [2| 
this.executeMiddleware(this.inboundMiddleware, { 
data: message 
}); 
}); 
} 


send(data) { 
const message = { 


data: data 
}; 
this.executeMiddleware(this.outboundMiddleware, message, 
() => { 
this.socket.send(message.data); 
} 


); 
} 


use(middleware) { 
If (middleware.inbound) { 
this.inboundMiddleware.push(middleware.inbound); 


if (middleware.outbound) { 
this.outboundMiddleware.unshift(middleware.outbound); 
} 


} 


executeMiddleware(middleware, arg, finish) { 
function iterator(index) { 
If (index === middleware.length) { 
return finish && finish(); 


middleware[index].call(this, arg, err => { 
if (err) { 
return console.log('There was an error: ' + err.messag 
e); 
} 
iterator.call(this, ++index); 
}); 
} 


iterator.call(this, 0); 


} 
二 


在 这 个 类 的 第 一 部 分 ， 我 们 定义 了 这 个 新 组 件 的 构造 函数 。 它 接受 一 个 gMQ 套 接 
字 作为 参数 ， 并 且 : 


1. 创建 两 个 包含 我 们 的 中 间 件 函数 的 空 列表 ， 一 个 用 于 入 站 消息 ， 另 一 个 用 于 出 
站 消息 。 

2. 通过 将 一 个 新 的 监听 器 附加 到 message 事件 ， 它 立即 开始 监听 来 自 套 接 字 的 
新 消息 。 在 侦 听 器 中 ， 我 们 通过 执行 inboundMiddleware 管道 来 处 理 入 站 消 
息 。 


ZmqMiddlewareManager 类 的 下 一 个 方法 send 负责 过 套 接 字 发 送 新 消息 时 
执行 中 间 件 。 


这 次 使 用 outboundMiddleware 列表 中 的 过 滤器 处 理 消息 ， 然 后 将 其 传递 
给 socket.,send() 以 用 于 实际 的 网 络 传输 。 


现在 ， 我 们 来 谈 谈 use() 方法 。 这 个 方法 对 于 将 新 的 中 间 件 功能 添加 到 我 们 的 管 
每 个 中 间 件 都 是 成 对 的 ; 在 我 们 的 实现 中 ， 它 是 一 个 包 

含 inbound 和 outbound 两 个 属性 的 对 象 ， 这 些 属性 则 是 要 添加 到 相应 列表 的 中 

间 件 函数 。 


在 这 里 观察 到 ， inbound 中 间 件 被 push 到 inboundMiddleware 列表 的 末尾 ， 
而 对 于 outboundMiddleware 列表 ， 则 使 用 unshift 在 开始 处 插 

入 outbound 中 间 件 。 这 是 因为 inbound / outbound 中 间 件 函数 通常 需要 以 相 
反 的 顺序 执行 。 例 如 ， 如 果 我 们 想 要 使 用 JSON 解压 缩 并 反 序 列 化 inbound 消 
息 ， 则 意味 着 对 于 outbound ， 我 们 应 该 首先 序列 化 并 压缩 。 


理解 这 个 用 于 组 织 中 间 件 的 约定 不 是 一 般 模 式 的 一 部 分 ， 而 只 是 我 们 具体 例子 
的 一 个 实现 细节 。 


最 后 一 个 函数 executeMiddleware 代表 了 我 们 组 件 的 核心 ， 它 是 负责 执行 中 间 件 
功能 的 函数 。 这 个 函数 的 代码 应 该 看 起 来 很 熟悉 ， 实 际 上 ， 它 是 我 们 

在 Chapter3-Asynchronous Control Flow Patterns with Callbacks 中 学 习 
的 异步 顺序 迭代 模式 的 简单 实现 。 作 为 输入 接收 的 中 间 件 队列 中 的 每 个 函数 被 一 个 
接 一 个 地 执行 ， 并 且 为 每 个 中 间 件 功能 提供 相同 的 2 dd 参数 ; 这 是 可 以 

将 数据 从 一 个 中 间 件 传播 到 下 一 个 中 间 件 的 技巧 。 在 迭代 结束 时 ， 调 

用 finish() 回调 。 


为 了 简洁 ， 我 们 不 支持 error 中 间 件 管道 。 通 常 ， 当 中 间 件 功能 传播 错误 
时 ， 执 行 专 门 用 于 处 理 错误 的 另 一 组 中 间 件 。 这 可 以 使 用 我 们 在 这 里 演示 的 相 
同 技术 轻松 实现 。 


支持 JSoN 消息 的 中 间 件 


现在 我 们 已 经 实现 了 中 间 件 管理 器 ， 我 们 可 以 创建 一 对 中 间 件 函数 来 演示 如 何 处 
理 inbound 和 outbound 消息 。 正 如 我 们 所 说 的 ， 我 们 的 中 间 件 基础 架构 的 目标 
之 一 就 是 拥有 一 个 过 滤器 来 对 JSON 消息 进行 序列 化 和 反 序 列 化 ， 所 以 让 我 们 来 创 
建新 的 中 间 件 来 处 理 这 个 问题 。 在 一 个 名 为 jsonMiddleware.js 的 新 模块 中 ， 我 
们 包含 以 下 代码 : 


module.exports.json = () => { 
return 
inbound: function(message, next) { 
message.data = JSON.parse(message.data.tostring()); 
next( ) ; 


outbound: function(message, next) { 
message.data = new Buffer(JSON.stringify(message.data)); 
next() ; 
} 
} 
}; 


我 们 刚刚 创建 的 json 中 间 件 非常 简单 : 


e inbound 中 间 件 将 收 到 | 的 消 息 反 序列 化 为 输入 ， 并 将 结果 返回 给 消息 
的 data 属性 ， 以 便 可 以 沿 管道 进一步 处 理 
e outbound 中 间 件 序列 化 message.data 中 的 任何 数据 


请 注意 我 们 框架 a rp 是 完全 正常 
的 ， 也 是 我 们 如 何 适 应 这 种 模式 以 适应 我 们 特定 需求 的 完美 演示 。 


使 用 gMQ 中 间 件 框架 


ed 为 此 ， 我 们 将 构建 一 个 非常 简单 的 应 用 
程序 ， 客 户 端 定 期 向 服务 器 发 送 ping 命令 ， 服 务 器 回 显 接收 到 的 消息 。 


从 实现 的 角度 来 看 ， 我 们 将 使 用 由 gMQ 提供 的 req/rep 套 接 字 对 。 


然后 ， 我 们 将 使 用 我 们 的 zmqMiddlewareManager 套 接 字 来 获得 我 们 构建 的 中 间 
件 ， 包 括 用 于 序列 化 / 反 序列 化 JSON 消息 的 中 间 件 。 


服务 端 


首先 创建 服务 器 端 ( server.js ) 。 在 模块 的 第 一 部 分 ， 我 们 初始 化 我 们 的 组 
件 : 


const zmq = require('zmq'); 

const ZmqMiddlewareManager = require('./zmqMiddlewareManager'); 
const jsonMiddleware = require('./jsonMiddleware' ); 

const reply = zmq.socket('rep'); 
reply.bind('tcp://127.0.0.1:5000"); 


在 前 面 的 代码 中 ， 我 们 加 载 了 所 需 的 依赖 关系 ， 并 将 gMQ rep 套 接 字 绑 定 到 本 地 
端口 。 接 下 来 ， 我 们 初始 化 我 们 的 中 间 件 : 


const zmqm = new ZmqMiddlewareManager(reply); 
zmqm.use(jsonMiddleware.json()); 


我 们 创建 了 一 个 新 的 ZzmqMiddlewareManager 对 象 ， 然 后 添加 了 两 个 中 间 件 ， 一 
个 用 于 压缩 /解压 缩 消 息 ， 另 一 个 用 于 解析 /序列 化 JSON 消息 。 


为 简洁 起 见 ， 我 们 没有 展示 zlib 中 间 件 的 实现 ， 但 是 您 可 以 在 本 书 附带 的 示 
例 代码 中 找到 它 。 


现在 我 们 已 经 准备 好 处 理 来 自 客户 的 请 求 。 我 们 将 通过 简单 地 添加 更 多 的 中 间 件 来 
完成 这 个 工作 ， 这 次 使 用 它 作 为 请 求 处 理 程序 : 


zmqm.use(t{ 
inbound: function(message, next) { 
console.log('Received: ', message.data); 
If (message.data.action === 'ping') { 
this.send({ 
action: 'pong', 
echo: message.data.echo 


}); 


next( ) ， 


} 
}); 


由 于 中 间 件 的 最 后 一 项 是 在 zlib 和 json 中 间 件 之 后 定义 的 ， 因 此 我 们 可 以 透 
明 地 使 用 message.data 变量 中 可 用 的 解压 缩 和 反 序 列 化 消息 。 另 一 方面 ， 传 递 
给 send() 的 任何 数据 都 将 由 outbound 中 间 件 处 理 ， 在 我 们 的 例子 中 ， 这 个 中 
间 件 将 序列 化 ， 然 后 压缩 数据 。 


客户 端 
i I a 启动 一 个 连接 到 端口 5009 的 新 
的 GMQ req 套 接 字 ， 这 个 端口 是 我 们 服务 器 使 用 的 端口 : 


const zmq = require('zmq'); 
const ZmqMiddlewareManager = reqguire('./zmqMiddlewareManager'); 


const jsonMiddleware = require('./jsonMiddleware'); 


const request = zmq.socket('req'); 
request.connect('tcp://127.0.0.1:5000"'); 


然后 ， 我 们 需要 像 我 们 为 服务 器 一 样 设置 我 们 的 中 间 件 框架 


const zmqm = new ZmqMiddJlewareManager (request ) ; 
zmqm.use(jsonMiddleware.json()); 


接 下 来 ， 我 们 创建 一 个 中 间 件 inbound 项 来 处 理 来 自 服 务 器 的 响应 : 


zmqm.use(t{ 
inbound: function(message, next) { 
console.log('Echoed back: ', message.data); 
next(); 


J 


在 前 面 的 代码 中 ， 我 们 只 需 拦 截 任何 inbound 响应 并 将 其 打印 到 控制 台 。 


最 后 ， 我 们 建立 一 个 定时 器 来 定时 发 送 一 些 ping 请 求 ， 总 是 使 
用 zmqMiddlewareManager 来 获得 我 们 中 间 件 的 所 有 优点 : 


setInterval(() => { 
zmqm. send({ 
action: "ping '， 
echo: Date.now() 


请 注意 ， 我 们 正在 使 用 function 关键 字 明 确定 义 所 

有 inbound 和 outbound 函数 ， 避 免 使 用 箭头 函数 语法 。 这 是 故意 的 ， 因 为 正如 
我 们 在 Chapter1-wWelcome to the Node.js Platform ， 和 葡 头 函数 声明 将 函数 范 
围 阻 塞 到 它 的 词法 范围 。 对 使 用 箭头 函数 定义 的 函数 使 用 调用 不 会 改变 其 内 部 作用 
域 。 换 和 句 话 说， 如 果 我 们 使 用 箭头 隐 数 ， 我 们 的 中 间 件 将 不 会 将 其 识别 

为 zmqMiddlewareManager 的 一 个 实例 ， 并 且 会 引发 错 

误 TypeError: this.send is not a function 。 


我 们 现在 可 以 通过 首先 启动 服务 器 来 尝试 我 们 的 应 用 : 
node server 
然后 我 们 可 以 用 下 面 的 命令 启动 客户 端 


node client 


在 这 一 点 上 ， 我 们 应 该 看 到 客户 端 发 送 消 息 和 服务 器 回 显 他 们 。 


我 们 的 中 间 件 框架 完成 了 它 的 工作 。 它 允许 我 们 选 秀明 地 解压 缩 / 压 缩 和 反 序 列 化 / 序 
列 化 我 们 的 消息 ， 让 handler 程序 专注 于 他 们 的 业务 逻辑 ! 


在 Koa 中 使 用 Generator 的 中 间 件 


在 前 面 的 段落 中 ， 我 们 看 到 了 如 何 使 用 回调 实现 中 间 件 模式 ， 并 将 示例 应 用 于 消息 
传递 系统 。 


正如 我 们 在 介绍 它 时 看 到 的 那样 ， 中 间 件 模式 在 Web 框架 中 丨 正 发 挥 作为 一 种 便 
利 的 机 制 ， 可 以 构建 可 以 在 应 用 程序 核心 中 处 理 输入 和 输出 数据 流 的 逻辑 " 层 ”。 


除了 Express 之 外 ， 另 一 个 大 量 使 用 中 间 件 模式 的 Web 框架 是 Koa。 Koa 是 一 
个 非常 有 趣 的 框架 ， 主 要 是 因为 它 的 激进 选择 是 只 使 用 ES2015 生成 器 函数 而 不 是 
使 用 回调 来 实现 中 间 件 模式 。 我 们 马上 就 会 看 到 这 个 选择 如 何 大 大 简化 了 中 间 件 的 
编写 方式 ， 但 是 在 转移 到 一 些 代码 之 前 ， 我 们 可 以 用 另 一 种 方式 来 形象 化 中 间 件 模 
式 ， 特 定 于 这 个 Web 框架 : 


inbound | | | outbound 


Request | > Reponse 


Middleware 2 


Middleware 1 





在 这 个 表示 中 2 我 们 有 一 个 传 入 的 请 求 9 在 进入 我 们 的 应 用 程序 的 核心 之 前 遍历 
一 些 中 间 件 。 这 部 分 流程 称 为 inbound 或 downstream 。 流 程 到 达 应 用 程序 的 核 
心 后 ， 再 遍历 所 有 的 中 间 件 ， 但 这 次 是 以 相反 的 顺序 。 这 允许 中 间 件 在 应 用 的 主 逻 
辑 已 经 被 执行 并 且 响 应 准备 好 被 发 送 给 用 户 之 后 执行 其 他 动作 。 这 部 分 流量 被 称 

为 outbound 或 upstream 。 

由 于 中 间 件 包装 核心 应 用 程序 的 方式 9 上 面 的 表示 有 时 被 称 为 程序 员 的 “洋葱 ” ， 这 
让 我 们 想起 了 洋 营 的 层次 。 


现在 ， 让 我 们 用 koa 创建 一 个 新 的 Web 应 用 程序 ， 以 了 解 如 何 使 用 生成 器 函数 轻 
松 编写 定制 的 中 间 件 。 


我 们 的 应 用 程序 将 是 一 个 非常 简单 的 JSON API ， 它 返回 我 们 服务 器 中 的 当前 时 间 
稚 。 
首先 ， 我 们 需要 安装 Koa 


npm install koa 


然后 我 们 可 以 写 我 们 的 新 app .js 


const app = require('koa')(); 
app.use(function*() { 
this.body = { 
"now": new Date() 
}; 
}); 
app .listen(3000); 


需要 注意 的 是 ， 我 们 的 应 用 程序 的 核心 是 在 app.use 调用 中 使 用 Generator 函 
数 定 义 的 。 我 们 稍 后 会 看 到 中 间 件 以 完全 相同 的 方式 添加 到 应 用 程序 中 ， 并 且 我 们 
将 认识 到 ， 我 们 的 应 用 程序 的 核心 是 最 后 添加 到 应 用 程序 的 中 间 件 (并 且 不 需要 依 
赖 于 另 一 个 中 间 件 以 下 项 目的 中 间 件 ) 。 


我 们 的 应 用 程序 的 初稿 已 经 准备 就 绪 。 我 们 现在 可 以 运行 


node app.js 


， 我 们 将 浏览 器 指向 http://localhost:3000 ， 以 查看 它 。 


请 注意 ， Koa 会 将 响应 转换 为 JSON 字符 串 ， 并 在 将 JavaScript 对 象 设 置 为 当 
前 响应 的 主体 时 添加 正确 的 内 容 类 型 标 头 。 


我 们 的 API 运行 良好 ， 但 是 现在 我 们 可 能 会 决定 保护 它 免 受 滥用 ， 确 保 人 们 在 一 
秒 钟 内 完成 多 个 请 求 。 这 个 逻辑 可 以 被 认为 是 我 们 API 的 业务 逻辑 的 外 部 ， 所 以 
我 们 应 该 通过 简单 地 写 一 个 新 的 专用 中 间 件 来 添加 它 。 我 们 把 它 写 成 一 个 叫 

做 rateLimit.js 的 独立 模块 : 


const lastCall = new Map(); 
module.exports = function *(next) { 


// inbound 
const now = new Date(); 
If (lastCcall.has(this.ip) && now.getTime() - lastCall.get(this 
.ip).getTime() < 1000) { 
return this.status = 429; // Too Many Requests 


} 


yield next,; 


// outbound 
lastCcall.set(this.ip, now); 
this.set('X-RateLimit-Reset', now.getTime() + 1000); 


Dy 


我 们 的 模块 导出 一 个 实现 我 们 中 间 件 逻辑 的 生成 器 函数 。 


首先 要 注意 的 是 ， 我 们 使 用 Map 对 象 来 存储 从 给 定 IP 地 址 接收 到 最 后 一 次 呼叫 
的 时 间 。 我 们 将 使 用 这 个 Map 作为 一 种 内 存 数 据 库 ， 能 够 检查 一 个 特定 的 用 户 是 
否 每 秒 钟 以 超过 一 个 请 求 来 超载 我 们 的 服务 器 。 当 然 ， 这 不 实现 奉公 是 一 个 着 机 的 
例子 ， 在 丨 实 的 情况 下 这 并 不 理想 ， 只 使 用 外 部 存储 (如 Redis 或 Memcache ) 
和 更 精确 的 逻辑 来 检测 过 载 。 


和 ， inbound 和 outbound ， 与 
下 一 个 yield 的 分 离 。 在 inbound 部 分 ， 我 们 还 没有 走 到 应 用 程序 的 核心 ， 所 
以 这 是 我 们 需要 检查 用 户 是 否 超出 我 们 的 费 率 限制 的 地 方 。 如 果 是 这 样 ， 我 们 只 需 
将 响应 的 HTTP 状态 码 设置 为 429 ( too many requests ) ， 我 们 返回 来 停 

止 pipeline 的 执行 。 


另 一 个 我 们 可 以 进入 下 一 个 中 间 件 的 方法 是 通过 next 调用 yield 。 使 

用 Generator 部 数 和 yield ， 中 间 件 的 执行 被 暂停 ， 以 执行 列表 中 的 所 有 其 他 
中 间 件 ， 并 且 只 有 当中 间 件 的 最 后 一 项 被 执行 时 (应 用 程序 的 真正 核 

心 ) outbound 流程 可 以 开始 ， 并且 以 相反 的 顺序 将 控制 权 交 还 给 每 个 中 间 件 ， 直 
到 第 一 个 中 间 件 再 次 被 调用 。 


当 我 们 的 中 间 件 再 次 接收 到 控制 信号 并 且 恢 复 Generator 功能 时 ， 我 们 需要 保存 
成 功 调用 的 时 间 惟 ， 并 且 在 请 求 中 添加 一 个 X-RateLimit-Reset 头 ， 以 表示 用 户 
何 时 能 够 创建 一 个 新 的 请 求 。 


如 果 你 需要 一 个 更 完整 和 可 靠 的 限 速 中 间 件 的 实现 ， 你 可 以 看 
看 koajs/ratelimit 模块 ，https://github.com/koajs/ratelimit 


为 了 启用 这 个 中 间 件 ， 我 们 需要 在 包含 我 们 应 用 的 核心 逻辑 的 现 有 app.use 之 前 
在 我 们 的 app.js 中 添加 以 下 行 : 


app.use(require('./rateLimit'"')); 


ed de ee ， 再 次 打开 我 
们 的 浏览 器 。 如 果 我 们 快速 刷新 页 面 几 次 ， 我 们 可 能 会 达到 速率 限制 ， ， 我们 应 该 看 
1 由 于 将 状态 码 设置 为 429 并 具有 空 的 响应 主 

体 ， Koa 自动 添加 此 消息 。 


如 果 您 有 兴趣 阅读 基于 Koa 框架 中 使 用 的 生成 器 的 中 间 件 模式 的 实际 实现 ， 
您 可 以 查看 koajs/compose， 它 是 核心 模块 用 于 将 一 组 Generator 转换 成 一 
个 新 的 Generator ， 该 Generator 在 pipeline 中 执行 原 

始 Generator 。 
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在 本 章 中 ， 我 们 了 解 了 如 何 将 一 些 传统 的 GOF 设计 模式 应 用 于 Javascript ， 特 
别 是 node.js 。 其 中 一 些 被 转换 ， 一 些 被 简化 ， 另 一 些 被 重新 命名 或 被 改编 ， 作 
为 它们 被 语言 、 平 台 和 社区 同化 的 一 部 分 。 我 们 强调 了 简单 的 模式 (如 工厂 模式 ) 如 
何 极 大 地 提高 代码 的 灵活 性 ， 以 及 如 何 使 用 代理 、 装 饰 器 和 适配器 来 操作 、 扩 展 和 
调整 现 有 对 象 的 接口 。 相 反 ， 策 略 模式 、 状 态 模式 和 模板 模式 已 经 向 我 们 展示 了 如 
何 将 更 大 的 算法 分 解 为 静态 和 可 变 的 部 分 ， 从 而 使 我 们 能 够 提高 组 件 的 代码 重用 性 
和 可 扩展 性 。 通 过 学 习 中 间 件 模式 ， 我 们 现在 能 够 使 用 简单 、 可 扩展 和 优雅 的 范例 
来 处 理 数据 。 最 后 ， 命 令 模 式 为 我 们 提供 了 一 个 简单 的 抽象 ， 使 任何 操作 都 更 加 灵 
活 和 强大 。 


除了 观察 这 些 被 广泛 接受 的 设计 模式 的 JavaScript 版 本 ， 我 们 还 发 现 了 一 些 
在 JavaScript 社区 中 诞生 和 提出 的 新 的 设计 模式 ， 例 如 揭示 构造 函数 和 可 组 合 
的 工厂 函数 模式 。 这 些 模式 有 助 于 处 理 JavaScript 语言 的 特定 方面 ， 例 

如 asynchronicity 和 prototype-based programming 。 


最 后 ， 我 们 获得 了 更 多 的 证 据 ， 说 明 JavaScript 是 如 何 通过 组 合 不 同 的 可 重用 
对 象 或 函数 来 完成 任务 和 构建 软件 的 ， 而 不 是 扩展 许多 小 类 或 接口 。 此 外 ， 对 于 来 
自 其 他 面向 对 象 语言 的 开发 人 员 来 说 ， 看 到 一 些 设计 模式 在 Javascript 中 实现 
时 有 多 么 不 同 可 能 会 显得 很 奇怪 ; 有 些 人 可 能 会 感到 迷茫 ， 因 为 知道 可 能 不 止 一 种 
设计 模式 ， 而 是 许多 实现 设计 模式 的 不 同方 式 。 我 们 说 ， JavaScript 是 一 种 实 
用 的 语言 ， 它 允许 我 们 快速 完成 任务 ， 但 是 ， 没 有 任何 结构 或 指导 原则 ， 我 们 就 会 
自 找 麻烦 。 这 就 是 这 本 书 ， 尤 其 是 这 一 章 有 用 的 地 方 。 它 试图 在 创造 力 和 严谨 性 之 
间 教 出 正确 的 平衡 。 它 不 仅 显示 了 可 以 重用 的 模式 来 改进 我 们 的 代码 ， 而 且 它 们 的 
实现 不 是 最 重要 的 细节 ; 它 可 能 与 其 他 模式 有 很 大 的 不 同 ， 甚 至 重 登 。 引 正 重要 的 
是 蓝图 、 指 导 方 针 和 模式 基础 上 的 想法 。 这 是 站 正 可 重用 的 信息 ， 我 们 可 以 利用 这 
些 信 息 以 有 趣 的 方式 设计 更 好 的 node.js 应 用 程序 。 


在 下 一 章 中 ， 我 们 将 分 析 更 多 的 设计 模式 ， 重 点 是 编程 的 一 个 最 有 主见 的 方面 : 如 
何 将 模块 组 织 起 来 并 连接 在 一 起 。 


Writing Modules 


Node.js 模块 系统 弥补 了 原生 JavaScript 缺乏 把 代码 组 织 到 不 同 独立 单元 的 这 
一 缺陷 。 模 块 系统 最 大 的 优点 就 是 能 够 使 用 require() 函数 将 模块 链接 在 一 起 ， 
这 是 一 种 简单 而 强大 的 方法 。 但 是 ， 对 于 许多 新 的 Node.js 的 开发 人 员 可 能 会 对 
模块 系统 的 使 用 产生 疑问 。 实 际 上 ， 最 常见 的 问题 之 一 是 : 将 组 件 X 的 实例 传递 到 
模块 Y 的 最 佳 方式 是 什么 ? 


有 时 候 ， 这 种 疑问 可 能 叶 致 我 们 滥用 单 例 模 式 ， 因 为 布 望 找到 一 种 更 熟悉 的 方式 来 
将 我 们 的 模块 链接 在 一 起 。 另 一 方面 ， 我 们 可 能 滥用 依赖 注入 模式 ， 利 用 它 来 处 理 
任何 类 型 的 依赖 〈 甚 至 无 状态 ) 。 如 果 说 如 何 组 织 模块 是 Node.js 中 最 具 争 议 性 
和 观点 性 的 话题 之 一 应 该 不 足 为 奇 了 。 主 流 的 组 织 模块 方式 很 多 ， 但 没有 任意 一 个 
观点 处 于 主导 地 位 。 但 实际 上 ， 每 种 方法 都 有 其 优点 和 缺点 。 


在 本 章 中 ， 我 们 将 分 析 组 织 模块 的 各 种 方法 ， 并 强调 它们 的 优 缺 点 ， 以 便 我 们 能 4 
在 简单 性 ， 可 重用 性 和 可 扩展 性 之 间 平 衡 ， 合 理 地 选择 和 混用 这 些 模块 组 织 方式 。 
具体 来 说 ， 我 们 将 介绍 一 些 模式 ， 如 下 所 示 : 


硬 编码 依赖 

依赖 注入 

服务 定位 器 

依赖 注入 容器 

然后 ， 我 们 将 探讨 一 个 与 书写 模块 密切 相关 的 问题 ， 即 如 何 组 织 Node .js 插件 模 
块 。 对 于 这 个 问题 ， 大 多 数 书写 插件 模块 的 方式 都 差不多 ， 但 是 与 用 户 自 己 编写 的 
应 用 程序 模块 的 组 织 就 不 太 相 同 了 ， 特 别 是 当 插 件 作 为 单独 的 Node.js 包 分 发 
时 ， 问 题 就 十 分 明显 了 。 

我 们 将 学 习 如 何 构建 一 个 Node ,js 插件 ， 并 如 何 把 这 些 插 件 集成 到 主 应 用 程序 
中 o 

在 本 章 最 后 ， 对 于 Node ,js 如 何 组 织 模块 就 不 再 是 上 涩 难 懂 的 话题 了 。 


模块 和 依赖 


每 个 应 用 程序 都 是 多 个 模块 组 织 在 一 起 的 结果 ， 如 同 盖 楼 一 样 ， 随 着 应 用 程序 日 益 
迭代 复杂 ， 我 们 组 织 模块 的 方式 将 导致 应 用 程序 的 成 功 或 失败 。 这 不 仅 与 应 用 程序 
的 拓展 性 相关 ， 还 是 我 们 构建 大 型 系统 的 重点 关注 点 。 过 于 复杂 订 乱 的 模块 依赖 是 
一 种 灾难 ， 它 增加 了 我 们 项 目的 组 织 难度 ， 在 这 种 情况 下 ， 代 码 的 任何 修改 和 拓展 
都 将 会 使 我 们 付出 巨大 的 代价 。 


最 糟糕 的 情况 是 ， 这 些 模块 严重 夺 合 ， 导 致 我 们 不 重 写 整 个 应 用 程序 就 不 更 改 代码 
的 任何 一 部 分 。 当 然 ， 不 必定 怕 ， 我 们 并 不 用 从 写 第 一 个 模块 开始 就 开始 全 面 规划 
我 们 的 模块 。 但 只 要 我 们 遵循 应 有 的 模式 ， 就 不 会 出 现 这 样 的 问题 。 


Node.js 提供 了 一 个 很 好 的 工具 来 连接 和 组 织 应 用 程序 。 那 就 是 CommonJS 模块 
系统 。 但 是 ， 使 用 模块 系统 并 不 能 够 保证 我 们 我 们 一 定 能 解决 模块 依赖 的 问题 ， 如 
果 使 用 不 当 ， 将 会 使 得 耦合 变 得 更 加 严重 。 在 本 节 中 ， 我 们 将 讨论 书 
写 Node.js 模块 的 基本 模式 。 


Node.js 最 常见 的 依赖 


在 一 个 软件 体系 结构 中 ， 我 们 在 设计 其 的 过 程 中 就 应 该 考虑 到 可 能 影响 其 中 任何 一 
个 组 件 依赖 关系 的 实体 、 状 态 、 数 据 格 式 。 例 如 ， 一 个 组 件 可 能 使 用 另 一 个 组 件 的 
提供 的 服务 ， 也 可 能 依赖 系统 特定 的 一 个 全 局 状态 ， 或 者 实现 一 个 特定 的 通信 协 

议 ， 以 便 与 其 他 组 件 交换 信息 等 等 。 依 赖 的 概念 十 分 广泛 ， 有 时 会 显得 难以 评估 。 


但 是 ， 在 Node.js 中 ， 我 们 可 以 确定 一 个 最 常见 也 最 容易 识别 的 最 基本 的 依赖 模 
型 。 当 然 ， 当 我 们 在 讨论 模块 之 间 的 依赖 关系 ， 我 们 应 该 首先 明确 : 模块 是 我 们 组 
织 和 构建 代码 的 基本 机 制 。 不 依赖 模块 系统 构建 的 大 型 应 用 程序 是 十 分 不 合理 的 。 
如 果 使 用 正确 的 方式 来 组 织 应 用 程序 的 各 个 模块 单元 ， 它 会 带 来 很 多 好 处 。 实 际 
上 ， 一 个 模块 的 属性 可 以 概括 如 下 : 


e 一 个 模块 应 该 具有 可 读 性 和 可 理解 性 ， 因 为 它 应 该 专注 于 一 件 事 
e 一 个 模块 被 表示 为 一 个 单独 的 文件 ， 使 得 其 更 容易 被 识别 
。 模块 可 以 更 容易 地 在 不 同 的 应 用 程序 中 复 用 


一 个 模块 代表 的 是 一 个 完全 私有 的 命名 空间 ， 并 通过 module.exports 来 公开 访 
问 这 个 模块 的 接口 。 


但 是 ， 对 于 一 个 成 功 的 模块 设计 ， 只 是 简单 地 将 应 用 程序 或 库 的 功能 区 分 为 不 同 的 
模块 是 完全 不 够 的 。 最 常见 的 错误 会 出 现在 我 们 创建 了 一 个 过 于 复杂 的 模块 ， 那 么 
想 要 替换 或 更 改 这 个 模块 会 对 整个 应 用 的 架构 产生 巨大 的 影响 。 这 时 就 能 够 意识 到 
把 代码 组 织 成 模块 的 优势 了 。 我 们 需要 在 模块 设计 中 找到 一 个 平衡 点 。 


内 有 稍 与 耦合 


评判 创建 的 模块 平衡 性 两 个 最 重要 的 特征 就 是 内 聚 度 和 境 合 度 。 这 两 个 特征 可 以 应 
用 于 软件 体系 结构 中 的 任何 类 型 的 组 件 或 子 系统 。 因 此 在 构建 Node.js 模块 时 也 
可 以 把 这 两 个 特征 作为 重要 的 参考 价值 。 这 两 个 属性 定义 如 下 : 


e 内 聚 度 : 用 于 度量 模块 内 部 功能 之 间 的 相关 性 。 例 如 ， 对 于 一 个 只 做 一 件 事 的 
模块 ， 其 中 的 所 有 部 件 都 只 对 这 一 件 事 起 作用 ， 那 说 明 这 个 模块 具有 很 高 的 内 
聚 度 。 举 个 例子 ， 那 种 包 钨 把 任何 类 型 的 对 象 存储 到 数据 库 的 函数 内 聚 度 就 较 
低 ， 如 saveProduct() 、 saveInvoice() 、 saveUser() 等 。 


。 耦合 度 : 评判 模块 对 系统 其 他 模块 的 依赖 程度 。 例 如 ， 当 一 个 模块 直接 读 取 或 
修改 另 一 个 模块 的 数据 时 ， 该 模块 与 另 一 个 模块 紧密 耦合 。 另 外 ， 通 过 全 局 或 
共享 状态 交互 的 两 个 模块 紧密 耦合 。 另 一 方面 ， 仅 通过 参数 传递 进行 通信 的 两 
个 模块 褐 合 度 较 低 。 


理想 情况 下 ， 一 个 模块 应 该 具有 较 高 的 内 聚 度 和 较 低 的 耦合 度 ， 这 样 的 模块 更 易于 
理解 、 重 用 和 扩展 。 


有 状态 模块 


在 JavaScript 中 ， 一 切 都 是 对 象 。 它 没有 纯粹 的 类 或 者 接口 的 概念 ， 因 为 其 动 
态 类 型 的 机 制 ， 已 经 将 接口 或 者 策略 和 实现 细节 分 开 。 这 就 是 为 什么 我 们 

在 Chapter 6-Design Patterns 看 到 在 JavaScript 中 一 些 设 计 模 式 和 传统 的 
设计 模式 看 起 来 如 此 不 同 并 且 简 单 的 多 的 原因 。 


在 JavaScript 中 ， 将 接口 与 实现 分 离 的 例子 很 少 。 然而 ， 通 过 使 用 Node.js 模块 
系统 ， 我 们 引入 了 一 个 特定 的 模块 ， 接 口 不 会 受到 其 它 模块 的 影响 。 在 正常 情况 
下 ， 这 没有 什么 问题 ， 但 是 如 果 我 们 使 用 require() 来 加 载 一 个 导出 有 状态 实例 
的 模块 ， 比 如 数据 库 交 互 对 象 ，HTTP 服 务 器 实例 ， 乃 至 善 通 的 任何 对 象 这 不 是 无 
状态 的 ， 我 们 实际 上 是 在 引用 的 模块 都 是 一 个 又 一 个 的 单 例 ， 因 此 模块 系统 有 着 单 
例 模 式 的 优点 和 缺点 ， 此 外 ， 也 有 一 些 不同 的 地 方 。 


Node.js 的 单 例 模式 


很 多 刚 接触 Node.js 的 人 对 于 如 何 正 确 地 实现 单 例 模式 感到 困惑 ， 通 常情 况 下 ， 
应 用 程序 的 各 个 模块 之 间 共 享 一 个 实例 。 Node.js 中 要 想 实现 这 一 点 特别 简单 ; 
只 需 使 用 module.exports 导出 实例 就 足以 获得 与 Singleton 模式 非常 相似 的 效 
于 


例如 ， 考 虑 下 面 这 行 代码 : 


//'db.jJs' module 
module.exports = new Database('my-app-db'); 


通过 导出 Database 的 一 个 实例 ， 我 们 可 以 假定 在 当前 包 (这 可 以 很 容易 地 成 为 我 
们 应 用 程序 的 整个 代码 ) 内 ， 我 们 将 只 有 一 个 db 模块 的 实例 。 这 是 可 能 的 ， 因 为 
我 们 知道 ， Node.js 将 在 第 一 次 调用 require() 之 后 缓存 模块 ， 确 保 在 随后 的 

调用 中 不 再 执行 它 ， 而 是 返回 缓存 实例 。 例 如 ， 我 们 可 以 很 容易 地 获得 我 们 之 前 定 
义 的 db 模块 的 一 个 共享 实例 ， 使 用 下 面 这 行 代码 : 


const db = require('./db'); 


但 是 注意 ， 该 模块 使 用 的 是 相对 路 径 引 入 ， 因 此 其 是 符合 单 例 模式 的 。 我 们 

在 Chapter2-Node.js Essential Patterns 中 看 到 ， 每 个 包 在 

其 node_modules 目录 中 都 可 能 有 自己 的 一 组 专用 依赖 项 ， 这 可 能 会 导致 同一 个 
模块 会 有 多 个 实例 ， 例 如 ， 考 虑 将 db 模块 封装 到 名 为 mydb 的 包 中 的 情况 。 看 以 
下 代码 package.json 文件 中 的 代码 : 


"name": "mydb", 
masimne sdbesy 


} 


现在 考虑 下 面 的 依赖 包 的 关系 树 : 


app/ 
`-- Nnode modules 
|-- packageA 
| ~“-- node modules 
| `“-- mydb 
`“-- packageB 
`“-- Nnode modules 
-- mydb 


packageA 和 packageB 都 依赖 于 mydb 模块 ; 反 过 来 ， 其 它 的 应 用 程序 模块 ， 
可 能 同时 依赖 于 packageA 和 packageB 。 我 们 刚刚 描述 的 场景 将 打破 关于 数据 
库 实例 唯一 性 的 假设 ; 实际 上 ， packageA 和 packageB 都 将 使 用 如 下 命令 加 
载 db 实例 : 


const db = require('mydb'); 


然而 ， packageA 和 packageB 实际 上 会 加 载 两 个 不 同 的 单 例 ， 因 为 mydb 模块 
将 根据 所 需 的 包 来 解析 到 不 同 的 目录 。 


在 这 一 点 上 ， 我 们 可 以 很 容易 地 说 ， 除 非 我 们 使 用 丰 正 的 全 局 变量 来 存储 一 个 模块 
实例 ， 否 则 之 前 描述 的 单 例 模式 在 Node.js 中 不 存在 ， 如 下 所 示 : 


global.db = new Database('my-app-db"'); 


这 将 保证 该 实例 将 是 唯一 的 ， 并 在 整个 应 用 程序 中 共享 ， 仅 仅 是 在 一 个 模块 中 。 但 
是 ， 我 们 应 该 尽量 避免 这 么 做 。 在 大 多 数 情况 下 ， 我 们 并 不 需要 一 个 纯粹 的 单 例 模 
式 ， 无 论 如 何 ， 我 们 稍 后 会 看 到 ， 还 有 其 他 模式 可 以 用 来 在 不 同 的 包 中 共享 一 个 实 
例 o 


在 本 书 中 ， 为 了 简单 起 见 ， 我 们 将 使 用 术语 单 例 模式 来 描述 由 模块 导出 的 有 状 
态 对 象 ， 即 使 这 并 不 代表 严格 定义 的 单一 实例 。 但 是 ， 我 们 可 以 肯定 地 说 ， 它 
与 原始 的 单 例 模 式 具 有 相同 的 含义 : 可 以 在 不 同 的 组 件 之 间 共 享 状态 。 


书写 模块 的 模式 

现在 我 们 已 经 讨论 了 一 些 关 于 内 聚 和 耦合 的 基本 理论 ， 我 们 已 经 准备 好 了 一 些 更 实 
际 的 概念 。 实 际 上 ， 在 这 一 节 中 ， 我 们 将 介绍 怎么 书写 模块 。 我 们 重点 讲解 如 何 利 
用 有 状态 模块 实例 ， 毫 无 疑问 ， 它 是 应 用 程序 中 最 重要 的 一 类 依赖 。 


硬 编 码 依 赖 


我 们 开始 通过 分 析 两 个 模块 之 间 最 常见 的 关系 来 看 硬 编码 依赖 。 在 Node.js 中 ， 
当 一 个 客户 端 模块 使 用 require() 加 载 另 一 个 模块 时 就 会 建立 模块 的 硬 编码 依赖 
关系 。 正 如 我 们 将 在 本 节 中 看 到 的 ， 这 种 建立 模块 依赖 关系 的 方法 简单 而 有 效 ， 但 
是 我 们 必须 更 加 关注 有 状态 实例 的 硬 编码 依赖 关系 ， 否 则 在 有 状态 实例 模块 会 限制 
我 们 的 模块 复 用 。 


使 用 硬 编 码 的 依赖 关系 构建 鉴 权 服务 
我 们 从 下 图 所 示 的 结构 开始 分 析 : 


AuthController AuthService 








上 图 显示 了 分 层 体 系 结构 的 典型 示例 ; 它 描述 了 一 个 简单 的 鉴 权 服务 的 结 

构 。 AuthCcontroller 接受 来 自 客户 端的 输入 ， 从 请 求 中 提取 登录 信息 ， 并 执行 

一 些 初 步 验证 。 之 后 AuthService 检查 客户 端 提供 的 凭证 是 否 与 存储 在 数据 库 中 
的 信息 匹配 ; 这 是 通过 使 用 db 模块 执行 一 些 特定 的 查询 来 完成 的 ， 作 为 与 数据 库 
通信 的 一 种 手段 。 这 三 个 组 件 连 接 在 一 起 的 方式 将 决定 它们 的 可 重用 性 ， 可 测试 性 
和 可 维护 性 的 强度 。 


将 这 些 组 件 连 接 在 一 起 的 最 自然 的 方法 是 通过 AuthService 请 求 db 模块 ， 然 后 
从 Authcontroller 请 求 AuthService 。 这 是 我 们 正在 讨论 的 硬 编码 依赖 。 


让 我 们 通过 实际 实现 刚刚 描述 的 系统 来 演示 这 一 点 。 那 么 我 们 来 设计 一 个 简单 的 鉴 
权 服务 器 ， 它 将 有 以 下 两 个 HTTP API 


e。 POST '/ login' : 接收 包含 用 户 名 和 密码 对 进行 身份 验证 的 JSON 对 象 。 
成 功 时 ， 它 会 返回 一 个 JSON Web Token (JWT) ， 随 后 的 请 求 中 使 用 它 来 验 
证 用 户 的 身份 。 


JSON Web Token 是 一 种 客户 端 和 服务 端 身份 验证 的 格式 。 但 随 着 单 页 应 用 
程序 和 跨 源 资源 共享 (CORS ) 技术 的 增长 ， 基 于 cookie 的 身份 验证 的 更 为 
灵活 的 蔡 代 方案 ， 其 受 欢迎 程度 正在 不 断 提高 。 要 了 解 更 多 关 

于 JSON Web Token 的 信息 ， 可 以 参考 http://self-issued.info/docs/draft-ietf- 


站 六 卢 


oauth-json-web-token.html 上 的 规范 

e GET'/ checkToken' : 查看 用 户 是 否 具 有 权限 。 
对 于 这 个 例子 ， 我 们 将 使 用 几 种 技术 ; 其 中 一 些 对 我 们 来 说 并 不 陌生 。 我 们 使 
用 express 来 实现 Web API 和 |evelup 来 存储 用 户 的 数据 。 


db 模块 


我 们 先 从 底层 开始 构建 应 用 程序 ; 我 们 需要 的 第 一 件 事 就 是 公开 一 个 levelUp 数 
据 库 实例 的 模块 。 我 们 来 创建 一 个 名 为 lib/db.js 的 新 文件 ， 其 中 包含 以 下 内 


全 这 


const level = require('level'); 
const sublevel = require('level-sublevel'); 
module.exports = sublevel( 
level('example-db', { 
valueEncoding: 'json' 


}) 
); 


前 面 的 模块 只 是 创建 一 个 到 存储 在 ./example-db 目录 中 的 LevelDB 数据 库 的 连 
接 ， 然 后 使 用 Sublevel 来 修饰 实例 ， 该 插件 添加 了 支持 增删 查 改 数据 库 (可 以 将 其 

与 SQL 或 MongoDB 进行 比较 ) 。 模 块 导 出 的 对 象 是 数据 库 对 象 本 身 ， 它 是 一 个 

有 状态 的 实例 ; 因此 ， 我 们 创建 的 是 单 例 。 


authService 模 块 


rk db 单 例 ， 我 们 可 以 使 用 它 来 实现 lib/authSservice.js 模块 ， 它 
负责 查询 数据 库 ， 根 据 用 户 身份 赁 证 查看 用 户 是 否 具 有 权限 。 代码 如 下 (只 显示 相 


关 部 分 ) 


"Use Strict"， 


const jwt = require('jwt-simple'); 
const bcrypt = require('bcrypt ' ) ， 


const db = require('./db'); 
const users = db.sublevel('users'); 


const tokenSecret = 'SHHH!'; 


exports.login = (username, password, callback) => { 
users.get(username, (err, user) => { 
if(err) return callback(err); 


bcrypt.compare(password, user.hash, (err, res) => { 
if(err) return callback(err); 
If(lres) return callback(new Error('Invalid password ' ) ) ， 


Jet token = jwt.encode({ 

username: username, 

expire: Date.now() + (1000 * 60 * 60) //1 hour 
}, tokenSecret); 


callback(null, token); 
}), 
}); 
}; 


exports.checkToken = (token, callback) => { 
Jet UserData， 
加 从 全 人 
//jJwt.decode will throw if the token is invalid 
userData = jwt.decode(token, tokenSecret); 
if (userData.expire <= Date.now()) { 
throw new Error('Token expired'); 


} catch(err) { 
return process.nextTick(callback.bind(null, err)); 
} 


users.get(userData.username, (err, user) => { 
if (err) return callback(err); 
callback(null, {username: userData.username}); 
}); 
}; 


authService 模块 实现 login() 服务 ， 该 服务 负责 查询 数据 库 ， 检 查 用 户 名 和 
密码 信息 ，checkToken() 服务 接受 token 作为 参数 并 验证 其 有 效 性 。 


上 面 的 代码 是 有 状态 模块 的 硬 编码 依赖 关系 的 第 一 个 示例 。 我 们 正在 谈论 db 模 
块 ， 我 们 只 需要 加 载 它 。 生 成 的 db 变量 包含 一 个 已 经 初始 化 的 数据 库 对 象 ， 我 们 
可 以 直接 使 用 它 来 执行 我 们 的 查询 。 


在 这 一 点 上 ， 我 们 可 以 看 到 ， 我 们 为 authservice 模块 创建 的 所 有 代码 并 不 需 
要 db 模块 的 一 个 特定 实例 ， 任 何 实例 都 可 以 正常 发 挥 作 用 。 但 

是 ， authSservice 模块 硬 编码 依赖 于 levelUp 数据 库 对 象 实 例 ， 这 意味 着 我 们 
将 无 法 在 不 更 改 其 模块 本 身 代 码 的 情况 下 将 authService 与 另 一 个 数据 库 实 例 结 
合 使 用 。 


authController 模 块 


继续 在 应 用 程序 的 层次 上 ， 我 们 现在 要 看 看 1ib/authcontroller.js 模块 。 这 个 
模块 负责 处 理 HTTP 请 求 ， 它 本 质 上 是 Express 路 由 的 集合 ; 该 模块 的 代码 如 
下 


USeESaoict 
const authService = require('./authService'); 
exports.1login = (req, res, next) => { 


authService.login(req.body.username, req.body.password, 
(err, result) => { 


if (err) { 
return res.status(401).send({ 
ok: false, 
error: 'Invalid username/password' 
}); 
res.status(200).send({ok: true, token: result}); 
} 
); 


和 


exports.checkToken = (req, res, next) => { 
authService.checkToken(req.dquery.token, 
(err, result) => { 


if (err) { 
return res.status(401).send({ 
ok: false, 
error: 'Token is invalid or expired' 
}); 
res.status(200).send({ok: 'true', user: result}); 
} 
); 


了 


authController 模块 实现 两 个 Express 路 由 : login() 用 于 执行 登录 操作 并 
返回 相应 的 token ， checkToken() 用 于 检查 token 的 有 效 性 。 这 两 个 路 由 委 
托 他 们 的 大 部 分 逻辑 到 authSservice ， 所 以 他 们 唯一 的 工作 是 处 理 HTTP 请 求 和 
响应 O 


我 们 也 可 以 看 到 ， 在 这 种 情况 下 ， 我 们 使 用 有 状态 模块 authservice 来 硬 编码 依 
赖 项 。 是 的 ， authService 模块 通过 传递 性 是 有 状态 的 ， 因 为 它 直接 依赖 

于 db 模块 。 有 了 这 个 ， 我 们 理解 了 硬 编码 的 依赖 关系 如 何 贯 穿 整 个 应 用 程序 的 
结构 中 : authcontroller 模块 依赖 于 authService 模块 ， 而 authService 模 
块 依赖 于 db 模块 ; 这 意味 着 authService 模块 本 身 是 间接 链接 到 一 个 特定 的 数 
据 库 实例 的 。 


app 模 块 


最 后 ， 在 应 用 程序 的 入 口 点 ， 我 们 调用 我 们 的 controller 。 遵 循 约定 ， 我 们 将 
把 这 个 逻辑 放 在 名 为 app .js 的 模块 中 ， 放 在 我 们 项 目的 根 目 录 下 ， 如 下 所 示 : 


usemstaet 


const Express = require('express'); 

const bodyParser = require('body-parser'); 
const errorHandler = require('errorhandler'); 
const http = require('http" );» 


const authController = require('./lib/authController'); 


let app = module.exports = new Express(); 
app.use(bodyParser .json()); 


app.post('/login', authController.1o0gin); 
app.get('/checkToken', authController.checkToken); 


app.use(errorHandler()); 
http.createServer(app).listen(3000, () => { 
console.1log('Express server started'); 


}); 


我 们 可 以 看 到 ， 我 们 的 应 用 程序 模块 是 非常 基础 的 。 它 包含 一 个 简单 

的 Express 服务 器 ， 它 注册 了 一 些 中 间 件 和 authcontroller 导出 的 两 条 路 由 。 
当然 ， 对 于 我 们 来 说 最 重要 的 代码 是 authcontroller 所 导出 的 硬 编码 依赖 实 

例 o 

运行 鉴 权 服务 

在 我 们 尝试 我 们 刚刚 实现 的 认证 服务 器 之 前 ， 我 们 建议 您 使 用 代码 示例 中 提供 

的 populate_db.js 脚本 来 填充 数据 库 中 的 一 些 示例 数据 。 这样 做 之 后 ， 我 们 可 
以 通过 运行 以 下 命令 来 启动 服务 器 : 


node app 


然后 我 们 可 以 尝试 调用 我 们 创建 的 两 个 Web 服务 ; 我 们 可 以 使 用 REST 客户 端 来 
执行 此 操作 ， 或 者 使 用 旧 的 curl 命令 。 例 如 ， 要 执行 登录 ， 我 们 可 以 运行 以 下 


命令 : 


Cu 可 二- XEPOSTE duUsenname alicenpasswonda secnet met 
p://localhost:3000/login -H "Content-Type: application/json" 


前 面 的 命令 应 该 返回 一 个 token ， 我 们 可 以 使 用 它 来 测试 /checkLogin 的 Web 
服务 (只 需 输入 以 下 命令 并 替换 <TOKEN HERE> ) 


curl -X GET -H "Accept: application/json" http://localhost:3000/ 
checkToken?token=<TOKEN HERE> 


前 面 的 命令 应 该 返回 一 个 字符 串 ， 如 下 所 示 ， 这 确认 我 们 的 服务 器 正在 按 预 期 工 
作 : 


{"ok":"true", "user":{"username":"alice"}} 


硬 编码 依赖 的 优点 和 缺点 


我 们 刚刚 实现 的 示例 演示 了 Node.js 中 书写 模块 的 传统 方式 以 及 利用 模块 系统 的 
全 部 功能 来 管理 应 用 程序 各 个 组 件 之 间 的 依赖 关系 。 我 们 从 模块 中 导出 有 状态 的 实 
例 ， 让 Node.js 管理 它们 的 生命 周期 ， 然 后 我 们 直接 从 应 用 程序 的 其 他 部 分 引入 
它们 。 这 样 管理 起 来 非常 直观 ， 多 于 理解 和 调试 ， 每 个 模块 初始 化 和 引入 ， 都 不 会 
受到 任何 外 部 条 件 的 干预 。 


然而 ， 另 一 方面 ， 对 有 状态 实例 的 依赖 性 进行 硬 编码 会 限制 将 模块 与 其 他 实例 关联 
的 可 能 性 ， 这 使 得 在 单元 测试 的 过 程 中 ， 其 可 重用 性 更 低 ， 测 试 难度 更 大 。 例 如 ， 
将 authservice 与 其 他 数据 库 实例 结合 使 用 几乎 是 不 可 能 的 ， 因 为 它 的 依赖 关系 
是 用 一 个 特定 的 实例 进行 硬 编码 的 。 同 样 ， 单 独 测 试 authservice 可 能 是 一 件 困 
难 的 事情 ， 因 为 我 们 不 能 轻 多 地 模拟 另 一 模块 使 用 数据 库 。 


最 后 ， 重 要 的 是 要 看 到 使 用 硬 编码 依赖 的 大 多 数 缺 点 都 与 有 状态 的 实例 相关 联 。 这 
意味 着 如 果 我 们 使 用 require() 来 加 载 一 个 无 状态 模块 ， 例 如 一 个 工厂 ， 构 造 孙 
数 或 者 一 组 无 状态 函数 ， 我 们 就 不 会 遇 到 同样 的 问题 。 我 们 仍然 会 与 特定 的 实现 紧 
密 耦 合 ， 但 在 Node.js 中 ， 这 通常 不 会 影响 组 件 的 可 重用 性 ， 因 为 在 模块 内 部 创 
建 的 实例 不 会 引入 与 特定 状态 的 耦合 。 


依赖 注入 


依赖 注入 〈DI) 模式 可 能 是 软件 设计 中 最 容易 被 误解 的 概念 之 一 。 许 多 人 将 这 个 术 
语 与 框架 和 依赖 注入 容器 相关 联 ， 例如 Spring (用 于 Java 和 C# ) 

或 Pimple (用 于 PHP ) ， 但 实际 上 它 是 一 个 很 简单 的 概念 。 依 赖 注 入 模式 背后 
的 主要 思想 是 由 外 部 实体 提供 输入 的 组 件 的 依赖 关系 。 

这 样 的 实体 可 以 是 客户 端 组件 或 全 局 容器 ， 它 集中 了 系统 所 有 模块 的 关联 。 这 种 方 
法 的 主要 优点 是 解 辜 ， 特 别 是 对 于 取决 于 有 状态 实例 的 模块 。 使 用 DI， 从 外 部 接收 
每 个 依赖 项 ， 而 不 是 硬 编码 到 模块 中 。 这 意味 着 模块 可 以 配置 为 其 中 的 依赖 关系 ， 
因此 可 以 在 不 同 的 上 下 文中 重用 。 

为 了 在 实践 中 演示 这 种 模式 ， 我 们 现在 要 重 构 我 们 在 前 一 节 中 构建 的 监 权 服务 器 ， 
使 用 DI 来 连接 它 的 模块 。 


使 用 DI 重 构 鉴 权 服务 器 


使 用 DI 重 构 我 们 的 模块 是 很 简单 的 : 我 们 不 需要 将 依赖 关系 硬 编码 到 有 状态 实例 ， 
而 是 创建 一 个 工厂 ， 它 将 一 组 依赖 作为 参数 。 


让 我 们 立即 开始 这 个 重 构 ; 让 我 们 来 看 看 如 下 的 1ib/db.js 模块 : 


Se Set, 


const level = require('level'); 
const sublevel = require('level-sublevel'); 


module.exports = function(dbName) { 

return sublevel( 
level(dbName, {valueEncoding: 'json'}) 
); 
}; 


重 构 过 程 的 第 一 步 是 将 db 模块 转换 为 工厂 模式 。 结 果 是 我 们 现在 可 以 使 用 它 创建 
尽 可 能 多 的 数据 库 实例 ， 这 意味 着 整个 模块 现在 可 以 重用 和 无 状态 。 


我 们 继续 并 实现 新 版 本 的 1ib/authservice.js 模块 : 


"Use strict"; 


const jwt = require('jwt-simple'); 
const bcrypt = require('bcrypt'"'); 


module.exports = (db, tokenSecret) => { 
const users = db.sublevel('users'); 
const authService = {}; 


authService.login = (username, password, callback) => { 
users.get(username, (err, user) => { 
if(err) return callback(err); 


bcrypt.compare(password, user.hash, (err, res) => { 
if(err) return callback(err); 
if(!res) return callback(new Error('Invalid password'"')); 


const token = jwt.encode({ 

username: username, 

expire: Date.now() + (1000 * 60 * 60) //1 hour 
}, tokenSecret); 


callback(null, token); 
js) 
}); 
jp 


authService.checkToken = (token, callback) => { 
Jet userData; 


me 
//jwt.decode will throw if the token is invalid 


userData = jwt.decode(token, tokenSecret); 
If (userData.expire <= Date.now()) { 
throw new Error('Token expired'); 


} 
} catch(err) { 
return process.nextTick(callback.bind(null, err)); 


} 


users.get(userData.username, (err, user) => { 
if(err) return callback(err); 
callback(null, {username: userData.username}); 


}); 
}; 


return authService,; 


了 


此 外 ， authSservice 模块 现在 是 无 状态 的 ; 它 不 再 导出 任何 特定 的 实例 ， 只 是 一 
个 简单 的 工厂 。 但 最 重要 的 细节 是 ， 我 们 将 db 依赖 注入 作为 工厂 函数 的 一 个 参 
数 ， 删 除 以 前 的 硬 编码 依赖 。 这 个 简单 的 更 改 使 我 们 能 够 通过 将 它 连接 到 任何 数据 


库 实 例 来 创建 一 个 新 的 authservice 模块 。 
我 们 可 以 用 类 似 的 方式 重 构 Lib/authCcontroller.js 模块 ， 如 下 所 示 : 


use Stn, 


module.exports = (authService) => { 
const authController = {}; 


authController.login = (req, res, next) => { 
authService.login(req.body.username, req.body.password, 
(err, result) => { 


if (err) { 
return res.status(401).send({ 
ok: false, 
error: 'Invalid username/password' 
}); 
} 
res.status(200).send({ok: true, token: result}); 
} 
); 
}; 


authCcontroller.checkToken = (req, res, next) => { 
authService.checkToken(req.query.token, 
(err, result) => { 


if (err) { 
return res.status(401).send({ 
ok: false, 
error: 'Token is invalid or expired' 
}); 
} 
res.status(200).send({ok: 'true', user: result}); 
} 
); 
}; 


return authController; 


jr 
authController 模块 根本 没有 任何 硬 编码 依赖 ， 甚 至 没有 状态 。 唯 一 的 依 
赖 authSservice 模块 在 调用 时 作为 输入 提供 给 工厂 。 


好 吧 ， 现 在 是 时 候 看 看 所 有 这 些 模块 是 在 哪里 创建 和 连接 在 一 起 的 。 答案 在 
于 app.js 模块 ， 它 代表 了 我 们 应 用 程序 中 的 最 顶层 。 其 代码 如 下 : 


"Use Strict"， 


const Express = require( 'express ' ) ， 

const bodyParser = require('body-parser'); 
const errorHandler = require('errorhandler'); 
const http = require('http )» 


const app = module.exports = new Express(); 
app.use(bodyParser .json()); 


const dbFactory = require('./l1ib/db"'); 
const authServiceFactory = require('./lib/authService'); 
const authControllerFactory = require('./lib/authController'); 


const db = dbFactory('example-db'); 
const authService = authServiceFactory(db, 'SHHH!'); 
const authController = authControllerFactory(authService); 


app.post('/login', authController.1lo0gin); 
app.get('/checkToken', authController.checkToken); 


app.use(errorHandler()); 
http.createServer(app).listen(3000, () => { 
console.log('Express server started'); 


J 


前 面 的 代码 可 以 概括 如 下 


1. 我 们 加 载 services 的 工厂 ; 在 这 一 点 上 ， 其 仍然 是 无 状态 的 对 象 。 

2. 我 们 通过 引入 它 所 需 的 依赖 来 实例 化 每 个 服务 。 这 是 模块 创建 和 链接 的 阶段 。 

3. 最 后 ， 我 们 像 往常 一 样 在 Express 服务 器 上 注册 authCcontroller 模块 的 路 
区 


鉴 权 服务 器 现在 使 用 DI 链接 ， 提 高 了 其 复 用 性 。 


DI 的 不 同类 型 


我 们 刚刚 介绍 的 例子 只 演示 了 一 种 类 型 的 DI (工厂 注入 ) ， 但 是 还 有 一 些 类 型 
的 DI 更 值得 一 提 : 


e We DI 中 ， 依 赖 关系 在 创建 时 传递 给 构造 函数 ; 一 
可 能 的 例子 可 以 是 : 


const service = new Service(dependencyA, dependencyB); 


@ 属性 注入 : 在 这 种 类 型 的 DI 中 ， 依 赖 关 系 在 创建 之 后 附加 到 对 象 上 ， 如 以 下 
代码 所 示 : 


const service = new Service( ) ; 
service.dependencyA = anInstanceOfDependencyA; 


属性 注入 意味 着 一 个 对 象 会 被 创建 为 不 一 致 的 状态 ， 因 为 它 没有 连接 到 它 的 依赖 关 
系 ， 所 以 它 是 最 不 健壮 的 ， 但 是 当 依赖 关系 之 间 存 在 循环 时 ， 它 有 时 可 能 是 有 用 
的 。 例 如 ， 如 果 我 们 有 两 个 组 件 A 和 B， 它 们 都 使 用 工厂 或 构造 函数 注入 ， 并 且 都 相 
互 依赖 ， 我 们 不 能 实例 化 它们 中 的 任何 一 个 ， 因 为 两 者 都 需要 另 一 个 存在 才能 被 创 
建 。 我 们 来 看 一 个 简单 的 例子 ， 如 下 所 示 : 


function Afactory(b) £ 
return { 
foo: function() { 


b. say(); 


what: function() { 
return 'Hello!'; 
} 
} 
} 


function Bfactory(a) { 
return { 
a: a, 
say: function() { 
console.log('I say: ' + a.what); 
} 
} 
} 


前 两 个 工厂 之 间 的 依赖 关系 死 锁 只 能 通过 属性 注入 来 解决 ， 例 如 先 创建 一 个 不 完整 
的 B 实例 ， 然 后 才能 创建 A 。 最 后 ， 我 们 将 A 注入 到 B 中 ， 方 法 是 设置 相关 
属性 如 下 


const b = Bfactory(null); 
const a = Afactory(b ) 
a.b = b; 


在 极 少数 情况 下 ， 依 赖 图 中 的 循环 是 不 容易 避免 的 : 然而 ， 重 要 的 是 要 记 住 ， 
这 往往 是 一 个 糟糕 的 设计 ， 应 该 尽 可 能 避免 。 


DI 的 优点 和 缺点 


人 我 们 能 够 将 我 们 的 模块 与 特定 的 依赖 项 实例 分 

离 。 结 果 是 ， 我 们 现在 可 以 用 最 少 的 代价 复 用 每 个 模块 ， 而 且 代 码 没 有 任何 改变 。 
MDR DI 模式 的 模块 也 大 大 简化 ; 我 们 可 以 轻松 地 模拟 模块 的 依赖 关系 ， 并 且 
独立 于 系统 其 他 部 分 的 状态 来 测试 我 们 的 模块 。 


我 们 前 面 介 绍 的 例子 中 要 强调 的 另 一 个 重要 方面 是 ， 我 们 将 依赖 链接 的 地 方 从 底层 
移 到 了 顶层 。 


这 个 想法 是 ， 高 级 组 件 在 本 质 上 比 低级 组 件 更 不 易 重 复 使 用 ， 这 是 因为 我 们 在 应 用 
程序 的 层次 越 多 ， 组 件 越 具 体 。 


基于 这 个 假设 ， 那 么 高 级 组 件 底层 依赖 关系 的 应 用 程序 架构 的 顺序 是 可 以 颠倒 的 ， 
这 样 底层 组 件 只 依赖 于 一 个 接口 〈 在 JavaScript 中 ， 它 是 只 是 我 们 期 望 的 一 个 
依赖 的 接口 ) ， 而 定义 一 个 依赖 的 实现 的 所 有 权 是 给 予 更 高 级 别 的 组 件 的 。 在 我 们 
的 鉴 权 服务 器 中 ， 实 际 上 ， 所 有 的 依赖 关系 都 被 实例 化 ， 并 被 连接 到 最 上 面 的 组 
件 ， 即 我 们 的 应 用 程序 模块 ( app.js ) ， 这 也 是 不 太 可 重用 的 ， 并 且 耦 合 度 较 
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所 以 耦合 度 和 复 用 性 是 相悖 的 。 通 常 ， 如 果 编 码 时 无 法 解决 依赖 关系 ， 理 解 系统 各 
个 组 件 之 间 的 关系 就 会 变 得 更 困难 。 另 外 ， 如 果 我 们 看 一 下 我 们 在 应 用 程序 模块 中 
实例 化 所 有 依赖 的 方式 ， 我 们 可 以 看 到 我 们 必须 遵循 特定 的 顺序 。 我 们 实际 上 不 得 
不 手动 构建 整个 应 用 程序 的 依赖 关系 图 。 当 要 链接 的 模块 数量 变 多 时 ， 这 可 能 变 得 
难以 管理 。 


解决 这 个 问题 的 一 个 可 行 的 解决 方案 是 在 多 个 组 件 之 间 拆 分 依赖 ， 而 不 是 集中 在 一 
个 地 方 。 这 可 以 减少 涉及 管理 依赖 关系 的 复杂 度 ， 因 为 每 个 组 件 只 负责 其 特定 的 依 
赖 关 系 子 图 。 当 然 ， 我 们 也 可 以 选择 仅 在 本 地 使 用 DI ， 只 是 在 必要 时 使 用 DI ， 
而 不 是 在 整个 应 用 程序 之 上 构建 。 


我 们 将 在 本 章 后 面 看 到 ， 另 一 种 简化 复杂 体系 结构 中 模块 连接 的 可 能 解决 方案 是 使 
用 一 个 DI 容 器 ， 一 个 专门 负责 实例 化 和 连接 应 用 程序 所 有 依赖 关系 的 组 件 。 


使 用 DI 肯定 会 增加 我 们 模块 的 复杂 性 和 完 长 度 ， 但 正如 我 们 前 面 所 看 到 的 ， 这 样 
做 有 很 多 好 的 理由 。 取 决 于 我 们 想 要 获得 的 简单 性 和 可 重用 性 之 间 的 平衡 ， 至 于 选 
择 依赖 注入 还 是 选择 硬 编码 依赖 ， 则 取决 于 我 们 。 


DI 经 常 结合 Dependency Inversion principle (依赖 倒置 准则 ) 和 
Inversion of Control (控制 反 转 ) 一 并 讨论 ; 然而 ， 他 们 虽然 相关 ， 但 却 


是 不 同 的 概念 。 


在 前 面 的 章节 中 ， 我 们 学 习 了 DI 如 何 通过 获得 可 重用 和 解 耦 的 模块 连接 依赖 关 
系 。 与 这 一 模式 相 类 似 的 另 一 种 模式 是 服务 定位 器 。 服 务 定位 器 核心 原则 是 拥有 一 
个 中 央 注 册 中 心 ， 以 便 管理 系统 组 件 ， 并 在 模块 需要 加 载 依赖 时 作为 中 介 。 这 个 想 
法 是 要 求 服务 定位 器 所 连接 的 是 依赖 注入 模块 ， 而 不 是 硬 编码 模块 。 


理解 这 一 点 很 重要 ， 通 过 使 用 服务 定位 器 ， 我 们 引入 了 对 它 的 依赖 关系 ， 它 连接 到 
模块 的 方式 决定 了 它们 的 耦合 程度 ， 其 可 重用 性 较 高 。 在 Node.js 中 ， 我 们 可 以 
确定 三 种 类 型 的 服务 定位 器 ， 区 分 它们 的 关键 因素 是 它们 连接 到 系统 各 个 组 件 的 方 
式 : 


e@ 依赖 注入 服务 定 
@ 全 局 注入 服务 定 


硬 编码 依赖 服务 定位 器 耦合 度 较 高 ， 因 为 它 由 使 用 require() 直接 引入 服务 定位 
器 的 实例 组 成 。 在 Node.js 中 ， 这 可 以 被 认为 是 一 种 反 模 式 ， 因 为 它 引 入 了 一 个 
紧密 耦合 的 组 件 。 在 这 种 情况 下 ， 服 务 定位 器 在 重用 性 方面 显然 没有 提供 任何 价 
值 ， 只 是 增加 了 另 一 层级 的 间接 性 和 复杂 性 。 因 此 应 该 抛弃 硬 编码 依赖 服务 定位 器 
这 种 模块 引入 方式 。 


依赖 注入 服务 定位 器 通过 DI 引用 组 件 。 这 可 以 被 认为 是 一 次 注入 一 整套 依赖 的 更 
方便 的 方法 ， 而 不 是 一 个 接 一 个 地 提供 它们 。 而 且 我 们 将 看 到 它 的 优势 并 不 止 于 
此 。 


全 局 注入 服务 定位 器 直接 注入 到 全 局 。 这 与 硬 编码 服务 定位 器 具有 相同 的 缺点 ， 但 
由 于 它 是 全 局 的 ， 因 此 它 是 一 个 卜 正 的 单 例 ， 因 此 可 以 很 容易 地 用 作 包 之 间 共 享 实 
例 的 模式 。 我 们 将 在 后 面 的 章节 中 看 到 这 一 点 ， 但 现在 我 们 可 以 肯定 地 说 ， 全 局 注 
入 服务 定位 器 使 用 场景 更 少 。 
Node.js 模块 系统 已 经 实现 了 服务 定位 器 模式 的 变 体 ， 其 中 require() 代 
表 服 务 定位 器 本 身 的 全 局 实例 。 


一 旦 我 们 开始 使 用 服务 定位 器 模式 ， 上 述 所 说 的 将 变 得 更 加 清晰 。 现 在 重 构 鉴 权 服 
务 器 来 实践 服务 定位 器 。 


使 用 服务 定位 器 重 构 鉴 权 服 务 


我 们 现在 要 使 用 服务 定位 器 重 构 鉴 权 服务 器 。 要 做 到 这 一 点 ， 第 一 步 是 实现 服务 定 
位 器 本 身 ; 我 们 将 使 用 一 个 新 的 模块 Lib/serviceLocator .js 


"Use strict"; 


module.exports = () => { 
const dependencies = {}; 
const factories = {}; 
const serviceLocator = {}; 


serviceLocator.factory = (name, factory) => { 
factories[name] = factory; 


}; 


serviceLocator.register = (name, instance) => { 
dependencies[name|] = instance,; 


}; 


serviceLocator.get = (name) => { 

If (!dependencies[name]) { 
const factory = factories[name]; 
dependencies[name|] = factory && factory(serviceLocator); 
If (!dependencies[name]) { 

throw new Error('Cannot find module: ' + name),; 

} 

} 

return dependencies[namel]; 


je 


return serviceLocator; 


号 


我 们 的 _ serviceLocator 模块 是 一 个 用 三 种 方法 返回 对 象 的 工厂 函数 : 


e factory() 方法 用 于 将 组 件 名 称 与 工厂 函数 关联 。 

e。 register() 用 于 将 组 件 名 称 直接 与 实例 相关 联 。 

。 get() 通过 名 称 检索 组 件 。 如 果 一 个 实例 已 经 可 用 ， 它 只 是 返回 它 ; 否则 ， 
它 会 党 试 调 用 注册 的 工厂 来 获取 新 的 实例 。 注 意 到 模块 工厂 是 通过 注入 服务 定 
位 器 ( serviceLocator ) 的 当前 实例 来 调用 是 非常 重要 的 。 这 是 模式 的 核 
心机 制 ， 允 许 自动 和 按 需 建立 系统 依赖 关系 图 。 接 下 来 看 它 是 如 何 工作 的 。 


服务 定位 器 使 用 一 个 对 象 作为 一 组 依赖 项 的 命名 空间 : 


const dependencies = {}; 

const db — "require( :lib/Xdb'); 

const authService = require('./lib/authService'); 
dependencies.db = db(); 

dependencies.authService = authService(dependencies); 


更 改 1ib/db.js 模块 来 serviceLocator 的 工作 : 


"Use Strict"， 


const level = require('level'); 
const sublevel = require('level-sublevel'); 


(serviceLocator) => { 
serviceLocator.get('dbName'); 


module.exports = 
const dbName = 

return sublevel( 

level(dbName, {valueEncoding: 'jJson'}) 

); 

}; 


db 模块 使 用 输入 中 接收 到 的 服务 定位 器 来 检索 要 实例 化 的 数据 库 的 名 称 。 需 要 强 
调 的 是 ， 服 务 定位 器 不 仅 可 用 于 返回 组 件 实例 ， 还 可 用 于 提供 定义 我 们 要 创建 的 整 
个 依赖 关系 图 的 行为 的 配置 参数 。 


接 下 来 更 改 1ib/authService.js 模块 : 


"Use Strict"， 


const jwt = require('jwt-simple'); 
const bcrypt = require('bcrypt  ) ， 


module.exports = (serviceLocator) => { 
const db = serviceLocator.get('db'); 
const tokenSecret = serviceLocator.get('tokenSecret'); 


const users = db.sublevel('users'); 
const authService = {}; 


authService.login = (username, password, callback) => { 
users.get(username, (err, user) => { 
if (err) return callback(err); 


bcrypt.compare(password, user.hash, (err, res) => { 
if (err) return callback(err); 
if (!res) return callback(new Error('Invalid password')) 


const token = jwt.encode({ 

username: username, 

expire: Date.now() + (1000 * 60 * 60) //1 hour 
}, tokenSecret); 


callback(null, token); 
下 
}); 
也 


authService.checkToken = (token, callback) => { 
Jet userData,; 
Gy 
//jwt.decode will throw if the token is invalid 
userData = jwt.decode(token, tokenSecret); 
if(userData.expire <= Date.now()) { 
throw new Error('Token expired'); 


} 
} catch(err) { 

return process.nextTick(callback.bind(null, err)); 
} 


users.get(userData.username, (err, user) => { 
if (err) return callback(err); 
callback(null, {username: userData.username}); 
}); 
}; 


return authService; 


了 


只 器 


位 器 的 get() 方 
怀 另 一 个 配置 参 


authService 模块 将 服务 定位 器 作为 输入 的 工厂 。 使 用 服务 定 
法 检索 模块 的 两 个 依赖 关系 ， 即 db 对 象 和 tokenSecret (这 
数 ) 。 


以 类 似 的 方式 ， 我 们 可 以 转换 1ib/authcontroller.js 模块 : 


"Use strict"; 


module.exports = (serviceLocator) => { 
const authService = serviceLocator.get('authService'); 
const authController = {}; 


authController.login = (req, res, next) => { 
authService.login(req.body.username, req.body.password, 
(err, result) => { 


if (err) { 
return res.status(401).send({ 
ok: false, 
error: 'Invalid username/password' 
}); 
} 
res.status(200).send({ok: true, token: result}); 
} 
DD 


je 


authController.checkToken = (req, res, next) => { 
authService.checkToken(req.query.token, 
(err, result) => { 


if (err) { 
return res.status(401).send({ 
ok: false, 
error: 'Token is invalid or expired' 
}); 
} 
res.status(200).send({ok: 'true', user: result}); 
} 
); 


je 


return authController; 


ep 


现在 来 看 如 何 实例 化 和 配置 服务 定位 器 。 当 然 ， 这 发 生 在 app.js 模块 中 : 


"Use strict",; 


const Express = require('express'); 

const bodyParser = require('body-parser'); 
const errorHandler = require('errorhandler'); 
const http = require(‘'http )» 


const app = module.exports = new Express(); 
app.use(bodyParser .json()); 


const svcLoc = require('./lib/serviceLocator')(); 


svcLoc.register('dbName', 'example-db'); 
svcLoc.register('tokenSecret', 'SHHH!'); 

svcLoc.factory('db', require('./l1ib/db"' )); 
svcLoc.factory('authService', require('./lib/authService' )); 
svcLoc.factory('authController', require('./lib/authController') 


); 
const authcController = svcLoc.get('authController'),，; 


app.post('/login', authController.1lo0gin); 
app.get('/checkToken', authController.checkToken); 


app.use(errorHandler()); 
http.createServer(app).listen(3000, () => { 
console.log('Express server started'); 


}); 


这 就 是 新 的 服务 定位 器 的 连接 方式 : 


1. 我 们 通过 调用 工厂 实例 化 一 个 新 的 服务 定位 器 。 

2. 针对 服务 定位 器 注册 配置 参数 和 模块 工厂 。 在 这 一 点 上 ， 我 们 所 有 的 依赖 关系 
还 没有 实例 化 。 我 们 只 是 注册 他 们 的 工厂 。 

3. 我 们 从 服务 定位 器 加 载 authCcontroller ; 这 是 在 我 们 的 应 用 程序 的 整个 依 
赖 关系 图 的 实例 化 的 入 口 点 。 当 我 们 询问 authcontroller 组 件 的 实例 时 ， 
服务 定位 器 通过 注入 自己 的 一 个 实例 来 调用 关联 的 工厂 ， 然 
后 authcontroller 工厂 将 尝试 加 载 authSservice 模块 ， 然 后 实例 
化 db 模块 。 


服务 定位 器 情 性 加 载 模块 。 每 个 实例 仅 在 需要 时 创建 。 还 有 另 一 个 重要 的 含义 : 事 
实 上 ， 我 们 可 以 看 到 ， 每 个 依赖 关系 都 是 自动 连接 的 ， 无 需 事先 手动 完成 。 好 处 是 
我 们 不 必 事 先知 道 实例 化 和 连接 模块 的 正确 顺序 是 什么 - 这 一 切 都 是 自动 和 按 需 进 
行 的 。 与 简单 的 依赖 注入 模式 相 比 ， 这 更 方便 。 


另 一 种 常见 模式 是 使 用 Express 服务 器 实例 作为 简单 的 服务 定位 器 。 这 可 以 
通过 使 用 expressApp.set(name， instance) 来 注册 一 个 服务 
和 expressApp.get(name) 来 获得 。 这 种 模式 的 一 个 很 方便 的 地 方 就 是 作为 


服务 定位 器 的 服务 器 实例 已 经 被 注入 到 每 个 中 间 作 于 .3 并 且 可 以 通 
过 request.app 属性 来 访问 。 可 以 在 随处 找到 这 个 模式 的 例子 。 


服务 定位 器 的 优点 和 缺点 


服务 定位 器 和 依赖 注入 具有 很 多 共同 ， 点 : 都 将 依赖 关系 所 有 权 和 转移 到 组 件 外 部 的 实 
体 。 但 是 连接 服务 定位 器 的 方式 决定 这 个 模式 的 灵活 性 。 我 们 选择 一 个 注入 的 服务 
定位 器 来 实现 我 们 的 例子 ， 而 不 是 硬性 的 或 全 局 的 服务 定位 器 ， 这 几乎 就 是 这 种 模 
式 优势 所 在 。 实 际 上 ， 结 果 将 会 是 ， 我 们 不 是 使 用 require() 将 组 件 直接 耦合 到 
它 的 依赖 项 ， 而 是 将 它 耦 合 到 服务 定位 器 的 一 个 特定 实例 。 硬 编码 的 服务 定位 器 在 
配置 与 特定 名 称 关联 的 组 件 时 仍然 具有 更 大 的 灵活 性 ， 但 是 在 复 用 性 方面 仍然 没有 
什么 大 的 优势 。 


此 外 ， 与 DI 一 样 ， 使 用 服务 定位 器 使 得 在 运行 时 解决 组 件 之 间 的 关系 变 得 更 加 轩 
难 。 另 外 ， 这 也 使 得 ， 
清晰 的 方式 表示 : 通过 在 工厂 或 构造 函数 参数 中 声明 依赖 关系 。 。 有 了 服务 定位 器 ， 
这 个 问题 就 不 那么 清楚 了 ， 需 要 在 文档 中 进行 代码 检查 或 显 式 声明 ， 以 解释 特定 组 
件 将 要 加 载 的 依赖 关系 。 


最 后 要 知道 ， 一 个 服务 定位 器 经 常 被 错误 地 认为 是 一 个 DI 容器 ， 因 为 它 与 依赖 注 
入 中 心 扮演 相同 的 角色 ; 然而 ， 这 两 者 之 间 有 很 大 的 差别 。 使 用 服务 定位 器 ， 每 个 
组 件 都 明确 地 从 服务 定位 器 本 身 加 载 它 的 依赖 关系 。 当 使 用 DI 容 器 时 ， 组 件 与 容器 

互 不 所 知 。 


这 两 种 方法 之 间 的 区 别 是 显而易见 的 ， 原 因 有 两 个 : 


@ 可 重用 性 : 依赖 于 服务 定位 器 的 组 件 不 易 重 用， 因为 它 要 求 系统 中 有 一 个 服务 
定位 器 
e@ 可 读 性 : 正如 我 们 已 经 说 过 的 ， 服 务 定 位 器 混淆 了 组 件 的 依赖 性 要 求 


ee ei ea 模式 位 于 硬 编码 依赖 关系 和 DI 之 间 。 在 
方便 和 简单 方面 ， 它 肯定 比 手动 DI 更 好 ， 因 为 我 们 不 必 手 动 关心 构建 整个 依赖 关 
系 图 。 


在 这 些 假设 下 ， DI 容器 在 组 件 的 可 重用 性 和 便利 性 方面 有 更 大 的 优势 。 我 们 将 在 
下 一 节 中 更 好 地 分 析 这 种 模式 。 


依赖 注入 容器 

将 服务 定位 器 转换 为 依赖 注入 ( DI ) 容器 的 步骤 并 不 复杂 ， 但 正如 我 们 已 经 提 到 
的 ， 它 在 解 禄 方面 优 扫 地 很 大 。 事 实 上 ， ， 每 个 模块 都 不 需要 依赖 服务 定位 器 ， 只 需 在 
依赖 关系 上 表达 需求 ， DI 容器 就 可 以 无 颖 地 完成 其 他 任务 。 正如 我 们 将 看 到 的 ， 
这 个 机 制 的 优势 在 于 ， 即使 没有 容器 ， 每 个 模块 都 可 以 被 重用 。 


向 依赖 注入 容器 声明 一 组 依赖 关系 


依赖 注入 容器 本 质 上 是 一 个 服务 定位 器 ， 增 加 了 一 个 功能 : 它 在 实例 化 之 前 标识 模 
块 的 依赖 性 需求 。 为 了 做 到 这 一 点 ， 一 个 模块 必须 以 茶 种 方式 声明 它 的 依赖 关系 ， 
正如 我 们 将 看 到 的 ， 我 们 有 多 种 选择 声明 依赖 关系 。 


第 一 种 ， 也 许 是 最 流行 的 技术 ， 是 基于 工厂 或 构造 济 数 中 使 用 的 参数 名 称 注入 一 组 
依赖 关系 。 以 authService 模块 为 例 : 


module.exports = (db, tokenSecret) => { 
A 


} 


正如 我 们 所 定义 的 ， 前 面 的 模块 将 由 我 们 的 依赖 注入 容器 使 用 名 称 

为 db 和 tokenSecret 的 依赖 关系 来 实例 化 ， 这 是 一 个 非常 简单 直观 的 机 制 。 但 
是 ， 为 了 能 够 读 取 有 函数 参数 的 名 称 ， 有 必要 使 用 一 些小 技巧 。 

在 JavaScript 中 ， 我 们 有 可 能 序列 化 一 个 函数 ， 在 运行 时 获取 它 的 源 代 码 ; 这 与 
在 函数 引用 上 调用 toString() 一 样 简单 。 用 正则 表达 式 ， 获 取 参 数列 表 当 然 不 
是 黑 魔 法 。 


AngularJS 是 一 个 由 Google 开发 的 客户 端 JavaScript 框架 ， 它 完全 建立 在 
DI 容器 之 上 ， 这 种 使 用 函数 参数 名 称 注入 一 组 依赖 关系 的 技术 被 广泛 使 用 。 


这 种 方法 最 大 的 问题 是 ， 源 代码 过 长 ， 这 是 一 种 在 客户 端 JavaScript 中 广泛 使 
用 的 做 法 ， 其 中 包括 应 用 特定 的 代码 转换 以 减 小 源 代码 的 大 小 。 有 一 种 变量 名 称 变 
更 的 技术 ， 该 技术 基本 上 重 命名 任何 局 部 变量 以 减少 其 长 度 ， 通 常 是 单个 字符 。 坏 
消息 是 函数 参数 是 局 部 变量 ， 通 常会 受到 这 个 过 程 的 影响 ， 寻 致 我 们 描述 的 声明 依 
赖 关系 崩溃 的 机 制 。 尽 管 在 服务 器 端 代码 中 缩小 并 不 是 非常 必要 ， 但 重要 的 是 要 考 
虑 到 Node.js 模块 经 常 与 浏览 器 共享 ， 这 是 我 们 分 析 中 需要 考虑 的 一 个 重要 因 


幸运 的 是 ， 依 赖 注 入 容器 可 能 使 用 其 他 技术 来 知道 要 注入 哪些 依赖 关系 。 这 些 技术 
如 下 : 


e 我 们 可 以 使 用 附加 到 工厂 函数 的 特殊 属性 ， 例 如 ， 显 式 列 出 要 注入 的 所 有 依赖 
项 的 数组 : 


module.exports = (a, b) => {1}; 
module.exports. inject = ['db', 'another/dependency'|]; 


。 我 们 可 以 指定 一 个 模块 作为 依赖 项 名 称 的 数组 ， 然 后 是 工厂 函数 : 


module.exports = ['db', 'another/depencency', (a, b) => 全] ， 


e@ 我 们 可 以 使 用 附加 到 元 数 的 每 个 参数 的 注释 注释 (但 是 ， 对 于 缩小 源 代码 的 体 
积 ， 这 也 不 能 很 好 地 发 挥 作用 ) : 


module.exports = function(a /*db*/, b /*another/depencency*/) 全 


所 有 这 些 技 术 都 各 有 优势 ， 因 此 对 于 我 们 的 例子 ， 我 们 将 使 用 最 简单 和 流行 的 方 
法 ， 即 使 用 函数 的 参数 来 获得 依赖 项 名 称 。 


使 用 DI 容器 重 构 鉴 权 服 务 器 


为 了 演示 DI 容器 如 何 比 服务 定位 器 的 耦合 性 更 低 ， 我 们 现在 要 再 次 重 构 我 们 的 认 
证 服务 器 ， 为 此 我 们 将 使 用 我 们 使 用 纯 DI 模式 的 版 本 作为 起 点 。 实 际 上 ， 我 们 要 
做 的 只 是 保留 app.js 模块 的 所 有 组 件 ， 除 了 app.js 模块 ， 它 将 是 负责 初始 化 
容器 的 模块 。 


但 首先 ， 我 们 需要 实施 我 们 的 DI 容器 。 让 我 们 通过 在 1ib/ 目录 下 创建 一 个 名 
为 dicontainer.js 的 新 模块 来 实现 这 一 点 。 这 是 它 的 最 初 部 分 : 


"Use strict"; 
const fnArgs = require('parse-fn-args' ); 


module.exports = () => { 
const dependencies = {}; 
const factories = {}; 
const diContainer = {}; 


diContainer.factory = (name, factory) => { 
factories[name] = factory; 


}; 

dicontainer .register = (name, dep) => { 
dependencies[name] = dep; 

}; 


diContainer.get = (name) => { 
If (!dependencies[name]) { 
const factory = factories[name]; 
dependencies[name|] = factory && 
diContainer.inject(factory); 
If (!dependencies[name]) { 
throw new Error('Cannot find module: ' + name); 
} 
} 


return dependencies[namel]; 


jee 


diContainer.inject = (factory) => { 
const args = fnArgs(factory) 
.map(function(dependency) { 
return diContainer .get(dependency); 


}); 
return factory.apply(null, args); 


J 


return diContainer; 


JJ 


dicontainer 模块 的 第 一 部 分 在 功能 上 与 我 们 的 服务 定位 器 完全 相同 以 前 见 过 。 
唯一 显 着 的 区 别 是 : 


e。 我 们 需要 一 个 名 为 args-list 的 新 的 npm 模块 ， 我 们 将 使 用 它 来 提取 有 函数 参数 的 
名 称 

e。 这 一 次 ， 我 们 不 是 直接 调用 模块 工厂 ， 而 是 依赖 另 一 个 名 
为 inject() 的 dicontainer 模块 的 方法 ， 它 将 解析 模块 的 依赖 关系 并 使 用 
它 来 调用 工厂 。 


inject() 是 使 DI 容 器 与 服务 定位 器 不 同 的 原因 。 其 逻辑 非常 简单 : 


1. 我 们 使 用 parse-fn-args 库 从 我 们 接收 的 工厂 函数 中 提取 参数 列表 作为 输 
入 O 

2. 然后 ， 我 们 将 每 个 参数 名 称 映 射 到 使 用 get() 方法 检索 到 的 相应 的 依赖 项 实 
例 oO 

3. 最 后 ， 我 们 所 要 做 的 只 是 通过 提供 我 们 刚刚 生成 的 依赖 列表 来 调用 工厂 。 我 们 
的 dicontainer 就 是 这 样 ， 正 如 我 们 所 看 到 的 ， 它 与 服务 定位 器 没有 多 大 的 
区 别 ， 但 是 通过 注入 依赖 来 实例 化 模块 的 简单 步骤 与 注入 整个 服务 定位 器 相 比 
有 着 巨大 的 差异 。 


为 了 完成 认证 服务 器 的 重 构 ， 我 们 还 需要 调整 app .js 模块 : 


"Use strict",; 


const Express = require('express'); 

const bodyParser = require('body-parser'); 
const errorHandler = require('errorhandler'); 
const http = require('http'"'); 


const app = module.exports = new Express(); 
app.use(bodyParser .json()); 


const diContainer = require('./lib/diContainer')(); 


diContainer.register('dbName', 'example-db"'); 
diContainer.register('tokenSecret', 'SHHH!'); 
diContainer.factory('db', require('./l1ib/db')); 
dicCcontainer.factory('authService', reguire('./lib/authService' )) 


diCcontainer.factory('authController', reguire('./lib/authControl 
ler')); 


const authController = diContainer.get('authController'); 


app.post('/login', authController.1o0gin); 
app.get('/checkToken', authController.checkToken); 


app.use(errorHandler( )); 
http.createServer(app).listen(3000, () => { 
console.1log('Express server started'); 


}); 


正如 我 们 所 看 到 的 ， 应 用 程序 模块 的 代码 与 我 们 在 上 一 节 中 用 于 初始 化 服务 定位 器 
的 代码 相同 。 我 们 还 可 以 注意 到 ， 为 了 引导 DI| 容 器， 并 因此 触发 整个 依赖 图 的 加 
载 ， 我 们 仍然 需要 通过 调用 dicontainer.get('authcontroller') 将 其 用 作 服 
务 定位 器 。 之 后 ， 在 DI 容器 中 注册 的 每 个 模块 将 被 自动 实例 化 和 连接 。 


DI 容 器 的 优点 和 缺点 


假如 我 们 的 模块 使 用 DI 容器 ， 他 有 着 依赖 注入 模式 大 部 分 优点 和 缺点 。 特 别 是 ， 
耦合 度 更 低 和 可 测试 性 更 强 ， 但 另 一 方面 ， 它 比 单纯 的 依赖 注入 模式 更 复杂 ， 因 为 
我 们 的 依赖 关系 在 运行 时 解决 。 一 个 DI 容器 也 与 服务 定位 器 模式 共享 许多 属性 ， 
但 是 它 有 一 个 事实 ， 即 它 不 强制 模块 依赖 除了 它 的 实际 依赖 之 外 的 任何 额外 的 模 
块 。 这 是 一 个 巨大 的 优势 ， 因 为 它 允 许 每 个 模块 甚至 在 没有 DI 容 器 的 情况 下 使 用 ， 
因为 可 以 使 用 简单 的 手动 注入 。 


这 本 质 上 就 是 我 们 在 本 节 中 演示 的 内 容 : 我 们 使 用 了 纯粹 的 DI 模式 的 认证 服务 器 
的 版 本 ， 然 后 在 不 修改 任何 组 件 ( app 模块 除外 ) 的 情况 下 ， 我 们 能 够 自动 地 注 
入 每 个 依赖 。 


在 npm 上 ， 你 可 以 找到 很 多 DI 容 器 https://www.npmjs.org/search? 
q=dependency%20injection 。 


书写 插件 


对 于 软件 工程 师 而 言 ， 书 写 越 少 的 代码 越 好 ， 通 过 使 用 插件 来 对 功能 进行 拓展 。 不 
幸 的 是 ， 这 并 不 是 很 容易 ， 书 写 插件 在 时 间 ， 资 源 和 复杂 性 方面 都 有 成 本 。 尽 管 如 
此 ， 我 们 还 是 希望 通过 书写 插件 来 对 系统 进行 扩展 ， 即 使 是 仅仅 针对 于 系统 的 某 些 
部 分 。 但 就 是 在 这 一 部 分 上 ， 我 们 将 要 探索 怎么 书写 插件 ， 并 关注 两 个 问题 : 


@ 将 应 用 程序 服务 暴露 给 插件 
e@ 将 插件 集成 到 应 用 程序 中 


把 插件 作为 包 


通常 在 Node.js 中 ， 应 用 程序 的 插件 作为 包 安装 到 项 目的 node_modules 目录 
中 。 这 样 做 有 两 个 好 处 。 首 先 ， 我 们 可 以 利用 npm 的 功能 来 分 发 插件 并 管理 它 的 
依赖 关系 。 其 次 ， 一 个 包 可 以 有 自己 的 私有 依赖 关系 图 ， 这 样 可 以 减少 依赖 关系 之 
间 发 生 冲 突 和 不 兼容 的 可 能 性 ， 而 不 是 让 插件 使 用 父 项 目的 依赖 关系 。 


以 下 目录 结构 给 出 了 一 个 包含 两 个 作为 包 分 发 的 插件 的 应 用 程序 示例 : 


application 
'-- Node modules 
|-- pluginA 
'-- pluginB 


在 Node.js 中 ， 这 是 一 个 非常 普遍 的 做 法 。 一 些 流行 的 例子 是 用 它 的 中 间 件 
gulp ， grunt » nodebb ， express 和 docpad 。 


但 是 ， 使 用 包 的 好 处 不 仅 限 于 外 部 插件 。 事 实 上 ， 一 种 流行 的 模式 是 通过 将 其 组 件 
包装 到 包 中 来 构建 整个 应 用 程序 ， 就 好 像 它 们 是 内 部 插件 一 样 。 因 此 ， 我 们 可 以 不 
用 在 应 用 程序 的 主 包 中 组 织 模块 ， 而 是 为 每 个 大 块 功 能 创建 一 个 单独 的 包 ， 并 将 其 
安装 到 node_modules 目录 中 。 


包 可 以 是 私有 的 ， 不 一 定 在 公共 npm 可 用 。 我 们 总 是 可 以 将 私有 组 织 信息 设 
i package.json 中 ， 以 防止 意外 发 布 到 npm 。 然后 ， 我 们 可 以 将 这 些 包 提 
交 到 一 个 版 本 控制 系统 ， 比 如 git ， 或 者 利用 一 个 私有 的 npm 服务 器 与 团队 的 其 
他 人 分 享 。 


Advanced Asynchronous Recipes 


几乎 所 有 我 们 迄今 为 止 看 到 的 设计 模式 都 可 以 被 认为 是 通用 的 ， 并 且 适 用 于 应 用 程 
序 的 许多 不 同 的 领域 。 但 是 ， 有 一 套 更 具体 的 模式 ， 专 注 于 解决 明确 的 问题 。 我 们 
可 以 调用 这 些 模式 。 就 像 现 实生 活 中 的 人 ， 我 们 有 一 套 明 确 的 步骤 来 实现 预 
期 的 结果 。 当 然 ， 这 并 不 意味 着 我 们 不 能 用 一 些 创意 来 定制 设计 模式 ， 以 配合 我 们 
的 客人 的 口味 ， 对 于 书写 Node .js 程序 来 说 是 必要 的 。 在 本 章 中 ， 我 们 将 提供 一 
些 常见 的 解决 方案 来 解决 我 们 在 日 常 Node.js 开发 中 遇 到 的 一 些 有 具体 问题 。 这 些 
模式 包括 以 下 内 容 : 


e 异步 引入 模块 并 初始 化 

e 在 高 并 发 的 应 用 程序 中 使 用 批 处 理 和 缓存 异步 操作 的 性 能 优化 

e 运行 与 Node.js 处 理 并 发 请 求 的 能 力 相 悖 的 阻塞 事件 循环 的 同步 CPU 绑 定 
操作 


异步 引入 模块 并 初始 化 


在 Chapter2-Node.js Essential Patterns 中 ， 当 我 们 讨论 Node.js 模块 系 
统 的 基本 属性 时 ， 我 们 提 到 了 require() 是 同步 的 ， 并 且 module.exports 也 不 
这 是 在 核心 模块 和 许多 npm 包 中 存在 同步 API 的 主要 原因 之 一 ， 是 否 同步 加 载 会 
被 作为 一 个 option 参数 被 提供 ， 主 要 用 于 初始 化 任务 ， 而 不 是 替代 异步 API 。 
不 幸 的 是 ， 这 并 不 总 是 可 能 的 。 同 步 API 可 能 并 不 总 是 可 用 的 ， 特 别 是 对 于 在 初 


始 化 阶段 使 用 网 络 的 组 件 ， 例 如 执行 三 次 握手 协议 或 在 网 络 中 检索 配置 参数 。 许 多 
数据 库 驱 动 程序 和 消息 队列 等 中 间 件 系统 的 客户 端 都 是 如 此 。 


乏 适 用 的 解决 方案 


我 们 举 一 个 例子 : 一 个 名 为 db 的 模块 ， 它 将 会 连接 到 远程 数据 库 。 只 有 在 连接 
和 ee db 模块 才能 够 接受 请 求 。 在 这 种 清 况 下 ， 我 们 通常 
有 两 种 选 


e@ 在 开始 使 用 之 前 确保 模块 已 经 初始 化 ， 否 则 则 等 待 其 初始 化 。 每 当 我 们 想 要 在 
异步 模块 上 调用 一 个 操作 时 ， 都 必须 完成 这 个 过 程 : 


const db = require('aDb'); //The async module 
module.exports = function findAll(type, callback) 革 
if (db.connected) { //is it initialized? 
runFind(); 
} else ({ 
db.once('connected', runFind); 


} 


function runFind() { 
db.findAll(type, callback); 


jee 
ee 


e。 使 用 依赖 注入 ( Dependency Injection ) 而 不 是 直接 引入 异步 模块 。 通 过 
这 样 做 ， 我 们 可 以 延迟 一 些 模块 的 初始 化 ， 直 到 它们 的 异步 依赖 被 完全 初始 
化 。 这 种 技术 将 管理 模块 初始 化 的 复杂 性 转移 到 另 一 个 组 件 ， 通 常 是 它 的 父 模 
块 。 在 下 面 的 例子 中 ， 这 个 组 件 是 app.js 


// 模块 app.js 
const db = require('aDb'); // apDb 是 一 个 异步 模块 
const findAllFactory = require('./findAll'); 
db.on('connected', function() { 

const findAll = findAllFactory(db); 

// 之 后 再 执行 异步 操作 


}); 


思量 全 专人 indAldRJis 
module.exports = db => { 
//db 在 这 里 被 初始 化 
return function findAll(type, callback) { 
db.findAll(type, callback); 
} 
} 


我 们 可 以 看 出 ， 如 果 所 涉及 的 异步 依赖 的 数量 过 多 ， 第 一 种 方案 便 不 太 适 用 了 。 


另外 ， 使 用 DI 有 时 也 是 不 理想 的 ， 正 如 我 们 在 Chapter7-Wiring Modules 中 
看 到 的 那样 。 在 大 型 项 目 中 ， 它 可 能 很 快 变 得 过 于 复杂 ， 尤 其 对 于 手动 完成 并 使 用 
异步 初始 化 模块 的 情况 下 。 如 果 我 们 使 用 一 个 设计 用 于 支持 异步 初始 化 模块 

的 DI 容器 ， 这 些 问题 将 会 得 到 缓解 。 


但 是 ， 我 们 将 会 看 到 ， 还 有 第 三 种 方案 可 以 让 我 们 轻松 地 将 模块 从 其 依赖 关系 的 初 
始 化 状态 中 分 离 出 来 。 


预 初始 化 队列 


将 模块 与 依赖 项 的 初始 化 状态 分 离 的 简单 模式 涉及 到 使 用 队列 和 命令 模式 。 这 个 想 
法 是 保存 一 个 模块 在 尚未 初始 化 的 时 候 接收 到 的 所 有 操作 ， 然 后 在 所 有 初始 化 步 又 
完成 后 立即 执行 这 些 操作 。 


实现 一 个 异步 初始 化 的 模块 


为 了 演示 这 个 简单 而 有 效 的 技术 ， 我 们 来 构建 一 个 应 用 程序 。 首 先 创建 一 个 名 
为 asyncModule.js 的 异步 初始 化 模块 : 


const asyncModule = module.exports,; 


asyncModule.initialized = false; 
asyncModule.initialize = callback => { 
setTimeout(() => { 
asyncModule.initialized = true; 
callback( ); 
}, 10000); 


/ 


asyncModule.tellMeSomething = callback => { 
process.nextTick(() => { 
if(!asyncModule.initialized) { 
return callback( 
new Error('I don\'t have anything to say right now') 


); 


callback(null, "Current time is: ' + new Date()); 
}); 
}; 


在 上 面 的 代码 中 ， asyncModule 展现 了 一 个 异步 初始 化 模块 的 设计 模式 。 它 有 一 
个 initialize() 方法 ， 在 10 秒 的 延迟 后 ， 将 初始 化 的 flag 变量 设置 

为 true ， 并 通知 它 的 回调 调用 ( 10 秒 对 于 引 实 应 用 程序 来 说 是 很 长 的 一 段 时 间 
了 ， 但 是 对 于 具有 互 斥 条 件 的 应 用 来 说 可 能 会 显得 力不从心 ) 。 

另 一 个 方法 tellMeSomething() 返回 当前 的 时 间 ， 但 是 如 果 模 块 还 没有 初始 化 ， 


它 抛 出 产生 一 个 异常 。 下 一 步 是 根据 我 们 刚刚 创建 的 服务 创建 另 一 个 模块 。 我 们 
设计 一 个 简单 的 HTTP 请 求 处 理 程序 ， 在 一 个 名 为 routes.js 的 文件 中 实现 : 


const asyncModule = require('./asyncModule'); 


module.exports.say = (req, res) => { 
asyncModule.tellMeSomething((err, something) => { 
if(err) { 
res.writeHead(500); 
return res.end('Error:' + err.message); 


} 

res.writeHead(200); 

res.end('I say: ' + something); 
}); 


}; 


在 handler 中 调用 asyncModule 的 tellMeSomething() 方法 ， 然 后 将 其 结果 
写 入 HTTP 响应 中 。 正如 我 们 所 看 到 的 那样 ， 我 们 没有 对 asyncModule 的 初始 
化 状态 进行 任何 检查 ， 这 可 能 会 导致 问题 。 


在 ， 创 建 app,js 模块 ， 使 用 核心 http 模块 创建 一 个 非常 基本 的 HTTP 服务 


强 演 


const http = require( 'http ' ) ， 
const routes = require('./routes'); 
const asyncModule = require('./asyncModule'); 


asyncModule.initialize(() => { 
console.log('Async module initialized'); 


}); 


http.createServer((req, res) => { 
If (req.method === 'GET' && req.url] === '/say') { 
return routes.say(req, res); 


} 


res.writeHead(404); 
res.end('Not found'); 
}).listen(8000, () => console.log('Started')); 


上 述 模 块 是 我 们 应 用 程序 的 入 口 点 ， 它 所 做 的 只 是 触发 asyncModule 的 初始 化 并 
创建 一 个 HTTP 服务 器 ， 它 使 用 我 们 以 前 创建 的 handler ( routes.say() ) 
来 对 网 络 请 求 作出 相应 。 


我 们 现在 可 以 像 往常 一 样 通过 执行 app .js 模块 来 尝试 启动 我 们 的 服务 器 。 
在 服务 器 启动 后 ， 我 们 可 以 尝试 使 用 浏览 器 访 
问 URL : http://Localhost:8000/ 并 查看 从 asyncModule 返 回 的 内 容 。 和 预 


期 的 一 样 ， 如 果 我 们 在 服务 器 启动 后 立即 发 送 请 求 ， 结 果 将 是 一 个 错误 ， 如 下 所 
示 : 


Error:I don't have anything to Say right now 


Ey 品 localhost Se 四 lo 


€ GC 全 | © localhost:8000/say 
3 应 用 G Google (9) GitHub 党 百度 一 下 ， 你 就 知道 


Error:I don't have anything to say right now 


显然 ， 在 异步 模块 加 载 好 了 之 后 : 





DD localhost:8000/say , 种 极 简 图 床 | 首页 
€ > GO | © localhost:8000/say 六 1 O 


:下 应 用 G Google (9 GitHub 党 百度 一 下 ， 你 就 知道 首页 - 知 乎 MM Gmail 





I say: Current time is: Thu Jan 04 2018 16:20:45 GMT+0800 (CST) 


这 意味 着 asyncModule 尚未 初始 化 ， 但 我 们 仍 尝试 使 用 它 ， 则 会 抛 出 一 个 错误 。 


根据 异步 初始 化 模块 的 实现 细节 ， 盏 运 的 情况 是 我 们 可 能 会 收 到 一 个 错误 ， 乃 至 丢 
失重 要 的 信息 ， 戎 溃 整 个 应 用 程序 。 总 的 来 说 ， 我 们 刚刚 描述 的 情况 总 是 必须 要 避 
免 的 。 


大 多 数 时 候 ， 可 能 并 不 会 出 现 上 述 问 题 ， 毕 竞 初始 化 一 般 来 说 很 快 ， 以 至 于 在 实践 
中 ， 它 永远 不 会 发 生 。 然而 ， 对 于 设计 用 于 自动 调节 的 高 负载 应 用 和 云 服 务 器 ， 情 
况 就 完全 不 同 了 。 


用 预 初始 化 队列 包装 模块 


为 了 维护 服务 器 的 健壮 性 ， 我 们 现在 要 通过 使 用 我 们 在 本 节 开 头 描 述 的 模式 来 进行 
异步 模块 加 载 。 我 们 将 在 asyncModule 尚未 初始 化 的 这 段 时 间 内 对 所 有 调用 的 操 
作 推 入 一 个 预 初始 化 队列 ， 然 后 在 异步 模块 加 载 好 后 处 理 它们 时 立即 刷新 队列 。 这 
就 是 状态 模式 的 一 个 很 好 的 应 用 ! 我们 将 需要 两 个 状态 ， 一 个 在 模块 尚未 初始 化 的 
时 候 将 所 有 操作 排队 ， 另 一 个 在 初始 化 完成 时 将 每 个 方法 简单 地 委托 给 原始 

的 asyncModule 模块 。 


通常 ， 我 们 没有 机 会 修改 异步 模块 的 代码 ; 所 以 ， 为 了 添加 我 们 的 排队 层 ， 我 们 需 
要 围绕 原始 的 asyncModule 模块 创建 一 个 代理 。 


接 下 来 创建 一 个 名 为 asyncModulewrapper.js 的 新 文件 ， 让 我 们 依照 每 个 步骤 逐 
个 构建 它 。 我 们 需要 做 的 第 一 件 事 是 创建 一 个 代理 ， 并 将 原始 异步 模块 的 操作 委托 
给 这 个 代理 : 


const asyncModule = require('./asyncModule'); 

const asyncModulewrapper = module.exports; 

asyncModuleWrapper.initialized = false; 

asyncModulewrapper ,initialize = () => { 
activeState.initialize.apply(activeSstate, arguments),; 

}; 

asyncModuleWwrapper.tellMeSomething = () => { 
activeState.tellMeSomething.apply(activeState, arguments); 


je 


在 前 面 的 代码 中 ， asyncModulewrapper 将 其 每 个 方法 简单 地 委托 
给 activeState 。 让 我 们 来 看 看 这 两 个 状态 是 什么 样子 


从 notInitializedState 开始 ， notInitializedState 是 指 还 没 初 始 化 的 状 
态 : 

// 当 模 块 没有 被 初始 化 时 的 状态 

let pending = []; 

Jet notInitializedState = { 


initialize: function(callback) 并 
asyncModule.initialize(function() { 
asyncModulewrapper.initalized = true; 
activeState = initializedState; 


pending.forEach(function(req) { 
asyncModule[req.method].apply(null, req.args); 


je 
pending = []; 


callback( ); 


}); 
}, 


tellMeSomething: function(callback) { 
return pending.push({ 
method: 'tellMeSomething', 
args: arguments 


}); 
} 


}; 
当 initialize() 方法 被 调用 时 ， 我 们 触发 初始 化 asyncModule 模块 ， 提 供 一 个 
回调 函数 作为 参数 。 这 使 我 们 的 asyncModulewrapper 知道 什么 时 候 原 始 模 块 被 


初始 化 ， 在 初始 化 后 执行 预 初始 化 队列 的 操作 ， 之 后 清空 预 初始 化 队列 ， 再 调用 作 
为 参数 的 回调 函数 ， 以 下 为 具体 步骤 : 


1. 把 initializedSstate 赋值 给 activeState ， 表 示 预 初始 化 已 经 完成 了 。 


2. 执行 先前 存储 在 待 处 理 队 列 中 的 所 有 命令 。 
3. 调用 原始 回调 。 


由 于 此 时 的 模块 尚未 初始 化 ， 此 状态 的 tellMeSomething() 方法 仅 创 建 一 个 新 
的 Command 对 象 ， 并 将 其 添加 到 预 初始 化 队列 中 。 


ee 当 原 始 的 asyncModule 模块 尚未 初始 化 时 ， 代 理应 该 已 经 清楚 ， 我 们 的 代 
理 将 简单 地 把 所 有 接收 到 的 请 求 防 到 预 初始 化 队列 中 。 然后 ， 当 我 们 被 通知 初始 化 

完成 时 ， 我 们 执行 所 有 预 初始 化 队列 的 操作 ， 然 后 将 内 部 状态 切换 

到 initializedState 。 来 看 这 个 代理 模块 最 后 的 定义 : 


Jet initializedState = asyncModule 


不 出 意外 ， initializedState 对 象 只 是 对 原始 的 asyncModule 的 引用 ! 事实 
上 ， 初 始 化 完成 后 ， 我 们 可 以 安全 地 将 任何 请 求 直 接 发 送 到 原始 模块 。 


最 后 ， 设 定 异 步 模块 还 没 加 载 好 的 的 状态 ， 即 notInitializedState 


Jet activeState = notInitializedState; 


我 们 现在 可 以 尝试 再 次 尼 动 我 们 的 测试 服务 器 ， 但 首先 ， 我 们 不 要 忘记 用 我 们 新 
的 asyncModulewrapper 对 象 替 换 原始 的 asyncModule 模块 的 引用 ; 这 必须 

在 app.js 和 routes.js 模块 中 完成 。 

这 样 做 之 后 ， 如 果 我 们 试图 再 次 向 服务 器 发 送 一 个 请 求 ， 我 们 会 看 到 

在 asyncModule 模块 尚未 初始 化 的 时 候 ， 请 求 不 会 失败 ; 相反 ， 他 们 会 挂 起 ， 直 
到 初始 化 完成 ， 然 后 才 会 被 实际 执行 。 我 们 当然 可 以 肯定 ， 比 起 之 前 ， 容 错 率 变 得 
更 高 了 。 

可 以 看 到 ， 在 刚刚 初始 化 异步 模块 的 时 候 ， 服 务 器 会 等 待 请 求 的 响应 : 


x curl (curl) 三 % node(node) 





在 异步 模块 加 载 完 成 后 ， 服 务 器 才 会 返回 响应 的 信息 : 


兴 ~/workspace (zsh) 






X .rog/test_code (zsh) 





模式 : 如 果 模 块 是 需要 异步 初始 化 的 ， 则 对 每 个 操作 进行 排队 ， 直 到 模块 完全 
初始 化 释放 队列 。 


现在 ， 我 们 的 服务 器 可 以 在 启动 后 立即 开始 接受 请 求 ， 并 保证 这 些 请 求 都 不 会 由 于 
其 模块 的 初始 化 状态 而 失败 。 我 们 能 够 在 不 使 用 DI 的 情况 下 获得 这 个 结果 ， 也 不 
需要 见长 且 容 易 出 错 的 检查 来 验证 异步 模块 的 状态 。 


其 它 场景 的 应 用 


我 们 刚刚 介绍 的 模式 被 许多 数据 库 驱 动 程序 和 ORM 库 所 使 用 。 最 值得 注意 的 

是 Mongoose， 它 是 MongoDB 的 ORM 。 使 用 Mongoose ， 不 必 等 待 数据 库 连 接 
打开 ， 以 便 能 够 发 送 查 询 ， 因 为 每 个 操作 都 排队 ， 稍 后 与 数据 库 的 连接 完全 建立 时 
执行 。 这 显然 提高 了 其 API 的 可 用 性 。 


看 一 下 Mongoose 的 源码 ， 它 的 每 个 方法 是 如 何 通过 代理 添加 预 初始 化 队列 。 
可 以 看 看 实现 这 中 模式 的 代码 片 

段 : https://github.com/Automattic/mongoose/blob/21f16c62e2f3230fe616745 
a40f22b4385a11b11/lib/drivers/node-mongodb-native/collection.js#L103-138 


for (var i in Collection.prototype) { 
(Giunctelonm() 
NativeCollection.prototype[i] = function () { 
If (this.buffer) { 
// mongoose 中 ， 在 缓冲 区 不 为 空 时 ， 只 是 简单 地 把 这 个 操作 加 入 缓冲 区 内 
this.addQueue(i, arguments); 
return; 


Var collection = this.collection 
args = arguments 
/ Self = this 
debug = self.conn.base.options.debug; 


if (debug) { 
if ('function' === typeof debug) { 
debug.apply(debug 
[self.name, i].concat(utils.args(args, 0, args.len 


大 


gth-1))); 
} else { 
console.error('\x1iB[0;36mMongoose:\x1B[Om %s.%s(%s) %s 
%S %S' 
; Self.name 
pe 
; print(args[0]) 
; print(args[1]) 
; print(args[2]) 
; brint(args[3])) 
} 
} 
return collection[i].apply(collection, args); 
}; 
}) (i); 
} 


异步 批 处 理 和 缓存 


在 高 负载 的 应 用 程序 中 ， 缓 存 起 着 至 关 重 要 的 作用 ， 几 乎 在 网 络 中 的 任何 地 方 ， 从 
网 页 ， 图 像 和 样式 表 等 静态 资源 到 纯 数 据 (如 数据 库 查 询 的 结果 ) 都 会 使 用 缓存 。 
在 本 节 中 ， 我 们 将 学 习 如 何 将 缓存 应 用 于 异步 操作 ， 以 及 如 何 充分 利用 缓存 解决 高 
请 求 吞 吐 量 的 问题 。 


实现 没有 缓存 或 批 处 理 的 服务 器 


在 这 之 前 ， 我 们 来 实现 一 个 小 型 的 服务 器 ， 以 便 用 它 来 衡量 缕 存 和 批 处 理 等 技术 在 
解决 高 负载 应 用 程序 的 优势 。 


让 我 们 考虑 一 个 管理 电子 商务 公司 销售 的 web 服务 器 ， 特 别 是 对 于 查询 我 们 的 服 
务 器 所 有 特定 类 型 的 商品 交易 的 总 和 的 情况 。 为 此 ， 考 虑 到 LevelUP 的 简单 性 和 
灵活 性 ， 我 们 将 再 次 使 用 LevelUP 。 我 们 要 使 用 的 数据 模型 是 存储 在 sales 这 
一 个 sublevel 中 的 简单 事务 列表 ， 它 是 以 下 的 形式 : 


transactionId {amount, item} 


key 由 transactionId 表示 ， value 则 是 一 个 JSON 对 象 ， 它 包 
含 amount ， 表 示 销 售 金额 和 item ， 表 示 项 目 类 型 。 要 处 理 的 数据 是 非常 基本 
的 ， 所 以 让 我 们 立即 在 名 为 的 totalSales.js 文件 中 实现 API ， 将 如 下 所 示 : 


const level = require('level'); 
const sublevel = require('level-sublevel'); 


const db = sublevel(level('example-db', {valueEncoding: 'json'}) 
); 


const salesDb = db.sublevel('sales'); 


module.exports = function totalsales(item, callback) { 
console.log('totalSales() invoked'); 
let sum = 0; 
salesDb.createVvalueStream() // [1| 
.On('data', data => { 
if(!item || data.item === item) { // [2] 
sum += data.amount; 


} 


.on('end', () => { 
callback(null, sum); // [3] 
,| }); 


该 模块 的 核心 是 totalSales 函数 ， 它 也 是 唯一 exports 的 API ; 它 进行 如 下 
工作 : 


1. 我 们 从 包含 交易 信息 的 salesDb 的 sublevel 创建 一 
个 Stream 。 Stream 将 从 数据 库 中 提取 所 有 条 目 。 


2. 监听 data 事件 ， 这 个 事件 触发 时 ， 将 从 数据 库 Stream 中 提取 出 每 一 项 ， 
如 果 这 一 项 的 item 参数 正 是 我 们 需要 的 item ， 就 去 系 加 它 的 amount 到 
总 的 sum 里 面 。 

3. 最 后 ， end 事件 触发 时 ， 我 们 最 终 调用 callback() 方法 。 


上 述 查询 方式 可 能 在 性 能 方面 并 不 好 。 理 想 情 况 下 ， 在 实际 的 应 用 程序 中 ， 我 们 可 
以 使 用 索引 ， 甚 至 使 用 增 量 映射 来 缩短 实时 计算 的 时 间 ; 但 是， 由 于 我 们 需要 体现 
缓存 的 优势 ， 对 于 上 述 例 子 来 说 ， 慢 速 的 查询 实际 上 更 好 ， 因 为 它 会 突出 显示 我 们 
要 分 析 的 模式 的 优点 。 


为 了 完成 总 销售 应 用 程序 ， 我 们 只 需要 从 HTTP 服务 器 公 
开 totalSales 的 API ;所 以 ， 下 一 步 是 构建 一 个 ( app.js 文件 ) 


const http = require( nttp );» 
const Url = require('url'); 
const totalSales = require('./totalSales'); 


http.createServer((req, res) => { 
const query = url.parse(req.url, true).query; 
totalSales(query.item, (err, sum) => { 
res.writeHead(200); 
res.end( “Total Sales for item ${query.item} Is ${sum}. ); 


}); 
}).listen(8000, () => console.log('Started')); 


我 们 创建 的 服务 器 是 非常 简单 的 ; 我 们 只 需要 它 暴 露 totalSales API 。 在 我 们 
第 一 次 启动 服务 器 之 前 ， 我 们 需要 用 一 些 示例 数据 填充 数据 库 ; 我 们 可 以 使 用 专用 
于 本 节 的 代码 示例 中 的 populate_db.js 脚本 来 执行 此 操作 。 该 脚本 将 在 数据 库 
中 创建 100K 个 随机 销售 交易 。 好 的 ! 现在， 一切 都 准备 好 了 。 像 往常 一 样 ， 局 
动 服务 器 ， 我 们 执行 以 下 命令 : 


node app 
请 求 这 个 HTTP 接口 ， 访 问 至 以 下 URL 


http://localhost:8000/?item=book 


但 是 ， 为 了 更 好 地 了 解 服务 器 的 性 能 ， 我 们 需要 连续 发 送 多 个 请 求 ;所 以 ， 我 们 创建 
一 个 名 为 loadTest .js 的 脚本 ， 它 以 200 ms 的 间隔 发 送 请 求 。 它 已 经 被 配置 为 
连接 到 服务 器 的 URL ， 因 此 ， 要 运行 它 ， 执 行 以 下 命令 : 


node loadTest 


我 们 会 看 到 这 20 个 请 求 需要 一 段 时 间 才 能 完成 。 注 意 测试 的 总 执行 时 间 ， 因 为 我 们 
现在 开始 我 们 的 服务 ， 并 测量 我 们 可 以 节省 多 少时 间 。 


批量 异步 请 求 


在 处 理 异 步 操作 时 ， 最 基本 的 缓存 级 别 可 以 通过 将 一 组 调用 集中 到 同一 个 API 来 
实现 。 这 非常 简单 : 如 果 我 们 在 调用 异步 函数 的 同时 在 队列 中 还 有 另 一 个 尚未 处 理 
的 回调 ， 我 们 可 以 将 回调 附加 到 已 经 运行 的 操作 上 ， 而 不 是 创建 一 个 全 新 的 请 求 。 
看 下 图 的 情况 : 


区 Wp 


ee 





























前 面 的 图 像 显 示 了 两 个 客户 端 ( 它 们 可 以 是 两 人 台 不 同 的 机 器 ， 或 两 个 不 同 

的 Web 请 求 ) ， 使 用 完全 相同 的 输入 调用 相同 的 异步 操作 。 当然 ， 描 述 这 种 情况 
的 自然 方式 是 由 两 个 客户 开始 两 个 单独 的 操作 ， 这 两 个 操作 将 在 两 个 不 同 的 时 刻 完 
成 ， 如 前 图 所 示 。 现 在 考虑 下 一 个 场景 ， 如 下 图 所 示 : 





上 图 向 我 们 展示 了 如 何 对 API 的 两 个 请 求 进行 批 处 理 ， 或 者 换 名 话说， 对 两 个 请 
求 执行 到 相同 的 操作 。 通 过 这 样 做 ， 当 操作 完成 时 ， 两 个 客户 端 将 同时 被 通知 。 这 
代表 了 一 ed 的 负载 ， 而 不 必 处 理 更 复杂 
缓存 机 制 ， 这 适当 的 内 存 管 理 和 缓存 失效 策略 。 


在 电子 商务 销售 的 Web 服 务 器 中 使 用 批 处 理 


现在 让 我 们 在 totalSales API 上 添加 一 个 批 处 理 层 。 我 们 要 使 用 的 模式 非常 简 
单 : 如 果 在 API 被 调用 时 已 经 有 另 一 个 相同 的 请 求 挂 起 ， 我 们 将 把 这 个 回调 添加 
到 一 个 队列 中 。 当 异步 操作 完成 时 ， 其 队列 中 的 所 有 回调 立即 被 调用 。 


现在 ， 让 我 们 来 改变 之 前 的 代码 : 创建 一 个 名 为 totalSalesBatch.,js 的 新 模 
块 。 在 这 里 ， 我 们 将 在 原始 的 totalSales API 之 上 实现 一 个 批 处 理 层 : 


const totalSales = require('./totalSales'); 


const queues = 人 }，; 
module.exports = function totalSalesBatch(item, callback) { 
if(queues[item]) { // [1] 
console.log('Batching operation ' ) ， 
return queues[item]|.push(callback); 


} 


queues[item] = [callback]; // [2|] 

totalSales(item, (err, res) => { 
const queue = queues[item]; // [3] 
queues[item] = null; 
queue.forEach(cb => cb(err, res)); 


}e 


” 


totalSalesBatch() 元 数 是 原始 的 totalSales() API 的 代理 ， 它 的 工作 原理 
如 下 : 


1. 如 果 请 求 的 item 已 经 存在 队列 中 ， 则 意味 着 该 特定 item 的 请 求 已 经 在 服 

务 器 任务 队列 中 。 在 这 种 情况 下 ， 我 们 所 要 做 的 只 是 将 回调 push 到 现 有 队 
列 ， 并 立即 从 调用 中 返回 。 不 进行 后 续 操作 。 

2. 如 果 请 求 的 item 没有 在 队列 中 ， 这 意味 着 我 们 必须 创建 一 个 新 的 请 求 。 为 
此 ， 我 们 为 该 特定 item 的 请 求 创建 一 个 新 队列 ， 并 使 用 当前 回调 函数 对 其 进 
行 初始 化 。 接 下 来 ， 我 们 调用 原始 的 totalSales() API 。 

RE Ah 我 们 遍历 队 
列 中 为 该 特定 请 求 的 item 添加 的 所 有 回调 ， 并 分 别 调 用 这 些 回调 函数 。 


totalSalesBatch() 驾 数 的 行为 与 原始 的 totalSales() API 的 行为 相同 ， 不 
同 之 处 在 于 ， 现 在 对 于 相同 内 容 的 请 求 API 进行 批 处 理 ， 从 而 节省 时 间 和 资源 。 


想 知 道 相 比 于 totalSales() API 原始 的 非 批 处 理 版 本 ， 在 性 能 方面 的 优势 是 什 
么 ? 然后 ， 让 我 们 将 HTTP 服务 器 使 用 的 totalSales 模块 替换 为 我 们 刚刚 创建 
的 模块 ， 修 改 app.js 文件 如 下 : 


//const totalSales = regquire('./totalSales'); 
const totalSales = require('./totalSalesBatch"'); 
http.createServer(function(req, res) { 

ZN 


jp 


如 果 我 们 现在 尝试 再 次 启动 服务 器 并 进行 负载 测试 ， 我 们 首先 看 到 的 是 请 求 被 批量 
返回 。 


除 此 之 外 ， 我 们 观察 到 请 求 的 总 时 间 大 大 减少 ; 它 应 该 至 少 比 对 原 
始 totalSales() API 执行 的 原始 测试 快 四 倍 ! 


这 是 一 个 惊人 的 结果 ， 证 明了 只 需 应 用 一 个 简单 的 批 处 理 层 即 可 获得 巨大 的 性 能 提 
升 ， 比 起 缓存 机 制 ， 也 没有 显得 太 复杂 ， 因 为 ， 无 需 考 虑 缓存 淘汰 策略 。 


批 处 理 模式 在 高 负载 应 用 程序 和 执行 较为 绥 慢 的 API 中 发 挥 巨大 作用 ， 正 是 
由 于 这 种 模式 的 运用 ， 可 以 批量 处 理 大 量 的 请 求 。 


异步 请 求 缓存 策略 


异步 批 处 理 模式 的 问题 之 一 是 对 于 API 的 答复 越 快 ， 我 们 对 于 批 处 理 来 说 ， 其 意 
义 就 越 小 。 有 人 可 能 会 争辩 说 ， 如 果 一 个 API 已 经 很 快 了 ， 那 么 试图 优化 它 就 没 
有 意义 了 。 然 而 ， 它 仍然 是 一 个 占用 应 用 程序 的 资源 负载 的 因素 ， 总 结 起 来 ， 仍 然 
可 以 有 解决 方案 。 另 外 ， 如 果 API 调用 的 结果 不 会 经 常 改 变 ; 因此 ， 这 时 候 批 处 
理 将 并 不 会 有 较 好 的 性 能 提升 。 在 这 种 情况 下 ， 减 少 应 用 程序 负载 并 提高 响应 速度 
的 最 佳 方案 肯定 是 更 好 的 缓存 模式 。 


缓存 模式 很 简单 : 一 旦 请 求 完 成 ， 我 们 将 其 结果 存储 在 缓存 中 ， 该 缓存 可 以 是 变 

量 ， 数 据 库 中 的 条 目 ， 也 可 以 是 专门 的 缓存 服务 器 。 因 此 ， 下 一 次 调用 API 时 ， 

可 以 立即 从 缓存 中 检索 结果 ， 而 不 是 产生 另 一 个 请 求 。 

对 于 一 个 有 经 验 的 开发 人 员 来 说 ， 缓 存 不 应 该 是 多 么 新 的 技术 ， 但 是 异步 编程 中 这 

种 模式 的 不 同 之 处 在 于 它 应 该 与 批 处 理 结合 在 一 起 ， 以 达到 最 佳 效果 。 原 因 是 因为 

多 个 请 求 可 能 并 发 运行 ， 而 没有 设置 缓存 ， 并 且 当 这 些 请 求 完 成 时 ， 缓 存 将 会 被 设 
多 次 ， 这 样 做 则 会 造成 缓存 资源 的 浪费 。 


置 
基于 这 些 假设 ， 弄 步 请 求 缓存 模式 的 最 终结 构 如 下 图 所 示 : 
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上 图 给 出 了 异步 缓存 算法 的 两 个 步骤 : 

1. 与 批 处 理 模式 完全 相同 ， 与 在 未 设置 高 速 缓存 时 接收 到 的 任何 请 求 将 一 起 批 处 
理 。 这 些 请 求 完 成 时 ， 缓 存 将 会 被 设置 一 次 。 

2. 当 缓 存 最 终 被 设置 时 ， 任 何 后 续 的 请 求 都 将 直接 从 缓存 中 提供 。 


另外 我 们 需要 考虑 Zalgo 的 反作用 (我 们 已 经 

在 Chapter 2-Node.js Essential Patterns 中 看 到 了 它 的 实际 应 用 ) 。 在 处 理 
异步 API 时 ， 我 们 必须 确保 始终 以 异步 方式 返回 缓存 的 值 ， 即 使 访问 缓存 只 涉及 
同步 操作 。 

在 电子 商务 销售 的 Web 服 务 器 中 使 用 异步 绥 存 请 求 

实践 异步 缓存 模式 的 优点 ， 现 在 让 我 们 将 我 们 学 到 的 东西 应 用 

到 totalSales() API 。 

与 异步 批 处 理 示例 程序 一 样 ， 我 们 创建 一 个 代理 ， 其 作用 是 添加 缓存 层 。 

然后 创建 一 个 名 为 totalSalesCache.js 的 新 模块 ， 代 码 如 下 : 


const totalSales = require('./totalSales'); 


const queues = {}，; 
const cache = {}; 


module.exports 
const cached 
if (cached) { 
console.log('Cache hit'); 
return process.nextTick(callback.bind(null, null, cached)); 


} 


if (queues[item]) { 
console.log('Batching operation'); 
return queues[item]|.push(callback); 


} 


dueues[item] = [callback]; 
totalSales(item, (err, res) => { 
If (lerr) { 
cache[item] = res; 
setTimeout(() => { 
delete cache[item]; 
}, 30 * 1000); //30 seconds expiry 


} 


function totalSalesBatch(item, callback) { 
cache[item]; 


const queue = queues[item]; 

queues[item] = null; 

dueue ,forEach(cb => cb(err, res)); 
}); 


了 


我 们 可 以 看 到 前 面 的 代码 与 我 们 异步 批 处 理 的 很 多 地 方 基本 相同 。 其实 唯一 的 区 别 
是 以 下 几 点 : 


e 我 们 需要 做 的 第 一 件 事 就 是 检查 缓存 是 否 被 设置 ， 如 果 是 这 种 情况 ， 我 们 将 立 
即使 用 callback() 返回 缓存 的 值 ， 这 里 必须 要 使 
用 process ,nextTick() ， 因 为 缓存 可 能 是 异步 设 定 的 ， 需 要 等 到 下 一 次 事 
件 轮 询 时 才能 够 保证 缓存 已 经 被 设 定 。 


。 继续 异步 批 处 理 模式 ， 但 是 这 次 ， 当 原始 API 成 功 完成 时 ， 我 们 将 结果 保存 
到 缓存 中 。 此 外 ， 我 们 还 设置 了 一 个 缓存 淘汰 机 制 ， 在 38 秒 后 使 缓存 失效 。 
一 个 简单 而 有 效 的 技术 ! 


现在 ， 我 们 准备 尝试 我 们 刚 创建 的 totalSales 模块 。 先 更 改 app.js 模块 ， 如 
下 所 示 : 


// const totalSales = require('./totalsSales'); 
// const totalSales = require('./totalsSalesBatch' ); 
const totalSales = require('./totalSalesCache'); 
http.createServer(function(req, res) { 
LA 


二 


现在 ， 重 新 启动 服务 器 ， 并 使 用 loadTest.js 脚本 进行 配置 ， 就 像 我 们 在 前 面 的 
例子 中 所 做 的 那样 。 使 用 默认 的 测试 参数 ， 与 简单 的 异步 批 处 理 模式 相 比 ， 很 明显 
地 有 了 更 好 的 性 能 提升 。 当 然 ， 这 很 大 程度 上 取决 于 很 多 因素 ; 例如 收 到 的 请 求 数 
量 ， 以 及 一 个 请 求 和 另 一 个 请 求 之 间 的 延迟 等 。 当 请 求 数量 较 高 且 跨越 较 长 时 间 

时 ， 使 用 高 速 缓存 批 处 理 的 优势 将 更 为 显著 。 


Memoization 被 称 做 缓存 函数 调用 的 结果 的 算法 。 在 npm 中 ， 你 可 以 找到 许 
多 包 来 实现 异步 的 memoization ， 其 中 最 著名 的 之 一 之 一 是 memoizee。 


有 关 实 现 缓存 机 制 的 说 明 


我 们 必须 记 住 ， 在 实际 应 用 中 ， 我 们 可 能 想 要 使 用 更 先进 的 失效 技术 和 存储 机 制 。 
这 可 能 是 必要 的 ， 原 因 如 下 : 


e。 大 量 的 缓存 值 可 能 会 消耗 大 量 内 存 。 在 这 种 情况 下 ， 可 以 应 用 最 近 最 少 使 用 
( LRU ) 算法 来 保持 恒定 的 存储 器 利用 率 。 

e@ 当 应 用 程序 分 布 在 多 个 进程 中 时 ， 对 缓存 使 用 简单 变量 可 能 会 导致 每 个 服务 器 
实例 返回 不 同 的 结果 。 如 果 这 对 于 我 们 正在 实现 的 特定 应 用 程序 来 说 是 不 希望 
的 ， 那 么 解决 方案 就 是 使 用 共享 存储 来 存储 缓存 。 常用 的 解决 方案 是 Redis 和 
Memcached ° 

e@ 与 定时 淘汰 缓存 相 比 ， 手 动 淘汰 高 速 缓存 可 使 得 高 速 缓存 使 用 寿命 更 长 ， 同 时 
提供 更 新 的 数据 ， 但 当然 ， 管 理 起 缓存 来 要 复杂 得 多 


oo 


使 用 Promise 进 行 批 处 理 和 缓存 


在 Chapter4-Asynchronous Control Flow Patterns with ES2015 and Beyont 
中 ， 我 们 看 到 了 Promise 如 何 极 大 地 简化 我 们 的 异步 代码 ， 但 是 在 处 理 批 处 理 和 
缓存 时 ， 它 则 可 以 提供 更 大 的 帮助 。 


利用 Promise 进行 异步 批 处 理 和 缓存 策略 ， 有 如 下 两 个 优点 : 
e@ 多 个 then() 监听 器 可 以 附加 到 相同 的 Promise 实例 。 
e then() 监听 器 最 多 保证 被 调用 一 次 ， 即 使 在 Promise 已 经 被 resolve 了 
之 后 ， then() 也 能 正常 工作 。 此 外 ， then() 总 是 会 被 保证 其 是 异步 调用 
的 。 


简 而 言 之 ， 第 一 个 优点 正 是 批 处 理 请 求 所 需要 的 ， 而 第 二 个 优点 则 在 Promise 已 
经 是 解析 值 的 缓存 时 ， 也 会 提供 同样 的 的 异步 返回 缓存 值 的 机 制 。 


下 面 开 始 看 代码 ， 我 们 可 以 尝试 使 用 WS 为 totalSales() 创建 一 个 模 
块 ， 在 其 中 添加 批 处 理 和 缕 存 功能 。 创 建 一 个 名 为 totalSalesPromises.js 的 新 
模块 : 


const pify’ ="require( pafy /XL 
const totalSales = pify(require('./totalSsales' ) ) ， 


const cache = {}; 
module.exports = function totalSalLlesPromises(Item) { 
If (cache[item]) { // [2] 
return ee 


} 


cache[item] totalSsales(item) // [3] 
.then(res => { // [4] 
setTimeout(() => {delete cache[item]}, 30 * 1000); //30 se 
conds expiry 
return res; 
}) 
scatch(em ==>/ 
delete cache[item]; 
throw err; 
}); 
return cache[item]; // [6] 


jp 


Promise 确实 很 好 ， 下 面 是 上 述 函 数 的 功能 描述 : 


1. 首先 ， 我 们 需要 一 个 名 为 pify 的 模块 ， 它 允许 我 们 对 totalSales() 模块 进 
行 promisification 。 这 样 做 之 后 ， totalSales() 将 返回 一 个 符合 
ES2015 标 准 的 Promise 实例 ， 而 不 是 接受 一 个 回调 函数 作为 参数 。 

2. 当 调 用 totalSalesPromises() 时 ， 我 们 检查 给 定 的 项 目 类 类 型 是 否 已 经 在 缓 
存 中 有 相应 的 Promise 。 如 果 我 们 已 经 有 了 这 样 的 Promise ， 我 们 直接 返 
回 这 个 promise 实例 。 

3， 如果 我 们 在 缓存 中 没有 针对 给 定 项 目 类 型 的 promise ， 我 们 继续 通过 调用 原 
始 ( promisified ) 的 totalSales() 来 创建 一 个 Promise | 

4. 当 Promise 正常 resolve 了 ， 我 们 设置 了 一 个 清除 缓存 的 时 间 (假设 
为 30 秒 ) ， 我 们 返回 res 将 操作 的 结果 返回 给 应 用 程序 。 

5. 如 果 Promise 被 异常 reject 了 ， 我 们 立即 重 置 缓存 ， 并 再 次 抛 出 错误 ， 将 

其 传播 到 Promise chain 中 ， 所 以 任何 附加 到 相同 Promise 的 其 他 应 用 程 
序 也 将 收 到 3 这 一 异常 。 
6. 最 后 ， 我 们 返回 我 们 刚才 创建 或 者 缓存 的 Promise 实例 。 


非常 简单 直 观 ， 更 重要 的 是 ， 我 们 使 用 Promise 也 能 够 实现 批 处 理 和 缓存 。 如 果 
我 们 现在 要 尝试 使 用 totalSalesPromise() 全 app.js 模块 ， 因 
为 现在 使 用 Promise 而 不 是 回调 函数 。 让 我 们 通过 创建 一 个 名 

为 appPromises.js 的 app 模 块 来 实现 : 


const http = require( 'http ' ) ， 
const url = require('url'); 
const totalSales = require('./totalSalesPromises'); 


http.createServer(function(req, res) { 
const query = uril.parse(req.url, true).query; 
totalSsales(query.item).then(function(sum) { 
res.writeHead(200); 
res.end( Total Sales for item ${query.item} Is ${sum} ); 


}); 
}).listen(8000, function() {console.log('Started' )}); 


它 的 实现 与 原始 应 用 程序 模块 几乎 完全 相同 ， 不 同 的 是 现在 我 们 使 用 的 是 基 
于 Promise 的 批 处 理 /缓存 封装 版 本 ; 因此 ， 我 们 调用 它 的 方式 也 略 有 不 同 。 


运行 以 下 命令 开局 这 个 新 版 本 的 服务 器 : 


node appPromises 


运行 与 CPU-bound 的 任务 


虽然 上 面 的 totalSales() 在 系统 资源 上 面 消耗 较 大 ， 但 是 其 也 不 会 影响 服务 器 
处 理 并 发 的 能 力 。 我 们 在 Chapter1-Welcome to the Node.js Platform 中 了 
解 到 有 关 事件 循 环 的 内 容 ， 应 该 为 此 行为 提供 解释 : 调用 异步 操作 会 导致 堆栈 退回 
到 事件 循环 ， 从 而 使 其 免 于 处 理 其 他 请 求 。 


但 是 ， 当 我 们 运行 一 个 长 时 间 的 同步 任务 时 ， 会 发 生 什 么 情况 ， 从 不 会 将 控制 权 交 
还 给 事件 循环 ? 


这 种 任务 也 被 称 为 CPU-bound ， 因 为 它 的 主要 特点 是 CPU 利用 率 较 高 ， 而 不 
是 I/0 操作 繁重 。 让 我 们 立即 举 一 个 例子 上 看 看 这 些 类 型 的 任务 在 Node.js 中 
的 具体 行为 。 


解决 子 集 总 和 问题 


现在 让 我 们 做 一 个 CPU 占用 比较 高 的 高 计算 量 的 实验 。 下 面 来 看 的 是 子 集 总 和 问 
题 ， 我 们 计算 一 个 数组 中 是 否 具 有 一 个 子 数 组 ， 其 总 和 为 0。 例如 ， 如 果 我 们 有 数 
组 [1，2，-4，5，-3] 作为 输入 ， 则 满足 问题 的 子 数组 

是 [1，2，-3] 和 [2，-4，5，-3] 。 


最 简单 的 算法 是 把 每 一 个 数组 元 素 做 遍历 然后 依次 计算 ， 时 间 复 杂 度 为 0(2An) ， 
或 者 换 名 话说 ， 它 随 着 输入 的 数组 长 度 成 指数 增长 。 这 意味 着 一 组 20 个 整数 则 会 
有 多 达 1，048，576 中 情况 ， 显 然 不 能 够 通过 穷 举 来 做 到 。 当 然 ， 这 个 问题 的 解 
决 方案 可 能 并 不 算 复 杂 。 为 了 使 事情 变 得 更 加 困难 ， 我 们 将 考虑 数组 和 问题 的 以 下 
变化 : 给 定 一 组 整数 ， 我 们 要 计算 所 有 可 能 的 组 合 ， 其 总 和 等 于 给 定 的 任意 整数 。 


const EventEmitter = require('events').EventEmitter,; 
class SubsetSum extends EventEmitter { 
constructor(sum, set) { 

super(); 

this,.sum = sum; 

this.set = set; 

this.totalSubsets = 0; 

和 全 


SubsetSum 类 是 EventEmitter 类 的 子 类 ; 这 使 得 我 们 每 次 找到 一 个 匹配 收 到 的 
总 和 作为 输入 的 新 子 集 时 都 会 发 出 一 个 事件 。 我 们 将 会 看 到 ， 这 会 给 我 们 很 大 的 灵 
活性 。 


接 下 来 ， 让 我 们 看 看 我 们 如 何 能 够 生成 所 有 可 能 的 子 集 组 合 : 


开始 构建 一 个 这 样 的 算法 。 创 建 一 个 名 为 subsetSum.js 的 新 模块 。 在 其 中 声明 
一 个 SubsetSum 类 : 


_combine(set, subset) { 
for(let i = 0; i < set.length; i++) { 
Jet newSubset = subset.concat(set[i]); 
this. _ combine(set.slice(i + 1), newSubset); 
this._processSubset(newSubset); 
} 
} 


不 管 算法 其 中 到 底 是 什么 内 容 ， 但 有 两 点 要 注意 : 


e。 _combine() 方法 是 完全 同步 的 ; 它 递 归 地 生成 每 一 个 可 能 的 子 集 ， 而 不 
把 CPU 控制 权 交 还 给 事件 循环 。 如 果 我 们 考虑 一 下 ， 这 对 于 不 需要 任 
何 I/0 的 算法 来 说 是 非常 正常 的 。 

e 每 当 生 成 一 个 新 的 组 合 时 ， 我 们 都 会 将 这 个 组 合 提供 
给 _processSubset() 方法 以 供 进一步 处 理 。 


_processSubset() 方法 负责 验证 给 定子 集 的 元 素 总 和 是 否 等 于 我 们 要 查找 的 数 
字 : 


_processSubset(subset) { 
console.log('Subset', ++this,.totalSubsets, subset); 
const res = subset.reduce((prev, item) => (prev + item), 0); 
if (res == this.sum) { 
this.emit('match', subset); 
} 
} 


简单 地 说 ， _processSubset() 方法 将 reduce 操作 应 用 于 子 集 ， 以 便 计 算 其 元 
素 的 总 和 。 然 后 ， 当 结果 总 和 等 于 给 定 的 sum 参数 时 ， 会 发 出 一 个 match 事 
件 。 


最 后 ， 调 用 start() 方法 开始 执行 算法 : 


Start() { 
this. combine(this.set, []); 
this.emit('end'); 


} 


通过 调用 combine() 触发 算法 ， 最 后 触发 一 个 end 事件 ， 表 明 所 有 的 组 合 都 被 
检查 过 ， 并 且 任 何 可 能 的 匹配 都 已 经 被 计算 出 来 。 这 是 可 能 的 ， 因 

为 _combine() 是 同步 的 ; 因此 ， 只 要 前 面 的 函数 返回 ， end 事件 就 会 触发 ， 这 
意味 着 所 有 的 组 合 都 被 计算 出 来 了 。 


接 下 来 ， 我 们 在 网 络 上 公开 刚刚 创建 的 算法 。 可 以 使 用 一 个 简单 的 HTTP 服务 器 对 
响应 的 任务 作出 响应 。 特别 是 ， 我 们 希望 

以 /subsetSum?data=<Array>&sum=<Integer> 这 样 的 请 求 格式 进行 响应 ， 传 入 
给 定 的 数组 和 sum ， 使 用 SubsetSum 算法 进行 匹配 。 


在 一 个 名 为 app.js 的 模块 中 实现 这 个 简单 的 服务 器 : 


const http = require( http )， 
const SubsetSum = require('./subsetSum'); 


http.createServer((req, res) => { 

const Url = require('url').parse(req.url, true); 

if(url.pathname === '/subsetSum') { 
const data = JSON.parse(url.query.data); 
res.writeHead(200); 
const SubsetSum = new SubsetSum(url.query.sum, data); 
subsetSum.on('match', match => { 

res.write('Match: ' + JSON.stringify(match) + '\n'); 

}); 
subsetSum.on('end', () => res.end()); 
subsetSum,.start(); 

} else ({ 
res.writeHead(200); 
res.end('I\m alive!\n' ); 


} 
}).listen(8000, () => console.log('Started')); 


由 于 SubsetSum 实例 使 用 事件 返回 结果 ， 所 以 我 们 可 以 在 算法 生成 后 立即 对 匹配 
的 结果 使 用 Stream 进行 处 理 。 另 一 个 需要 注意 的 细节 是 ， 每 次 我 们 的 服务 器 都 会 
返回 I'm alive! ， 这 样 我 们 每 次 发 送 一 个 不 同 于 /subsetSum 的 请 求 的 时 候 。 
可 以 用 来 检查 我 们 服务 器 是 否 挂 掉 了 ， 这 在 稍 后 将 会 看 到 。 


一 旦 服务 器 启动 ， ee OW ye ne 
数 ， 这 将 导致 产生 131,071 个 组 合 ， 那 么 器 将 会 处 理 一 段 时 间 : 


curl -G http://localhost:8000/subsetSum --data-urlencode "data=[ 
116, 119, 101, 101, -116, 109, 101, -105, -102, 117, -115, -97, 119, -116, -10 
4,-105,115]"--data-urlencode "sum=0" 


这 是 如 果 我 们 在 第 一 个 请 求 仍 在 运行 的 时 候 在 另 一 个 终端 中 尝试 输入 以 下 命令 ， 我 
们 将 发 现 一 个 巨大 的 问题 : 


curl -G http://localhost:8000 





x node (node) 三 X curl(curl) 三 X curl (curl) 





我 们 会 看 到 直到 第 一 个 请 求 结束 之 前 ， 最 后 一 个 请 求 一 直 处 于 挂 起 的 状态 。 服 务 器 
没有 返回 响应 ! 这 正如 我 们 所 想 的 那样 。 Node.js 事件 循环 运行 在 一 个 单独 的 线 
程 中 ， 如 果 这 个 线程 被 一 个 长 的 同步 计算 阻塞 ， 它 将 不 能 再 执行 一 个 循环 来 响 

应 I'm alive! ， 我 们 必须 知道 ， 这 种 代码 显然 不 能 够 用 于 同时 接收 到 多 个 请 求 
的 应 用 程序 。 


但 是 不 要 对 Node.js 中 绝望 ， 我 们 可 以 通过 几 种 方式 来 解决 这 种 情况 。 我 们 来 分 
析 一 下 最 常见 的 两 种 方案 : 


使 用 setImmediate 


通常 ， CPU-bound 算法 是 建立 在 一 定 规则 之 上 的 。 它 可 以 是 一 组 递归 调用 ， 一 个 
循环 ， 或 者 基于 这 些 的 任何 变化 /组 合 。 所 以 ， 对 于 我 们 的 问题 ， 一 个 简单 的 解决 
方案 就 是 在 这 些 步骤 完成 后 (或 者 在 一 定数 量 的 步骤 之 后 ) ， 将 控制 权 交 还 给 事件 
和 循环。 这样， 任何 待 处理 的 I / 0 仍然 可 以 在 事件 循环 在 长 时 间 运 行 的 算法 产 


生 CPU 的 时 间 间 隔 中 处 理 。 对 于 这 个 问题 而 言 ， 解 决 这 一 问题 的 方式 是 把 算法 的 
下 一 步 在 任何 可 能 导致 挂 起 的 I/0 请 求 之 后 运行 。 这 听 起 来 像 

是 setImmediate() 方法 的 完美 用 例 (我 们 已 经 

在 Chapter2-Node.js Essential Patterns 中 介绍 过 这 一 API ) 。 


模式 : 使 用 setImmediate() 交错 执行 长 时 间 运 行 的 同步 任务 。 


使 用 setlmmediate 进 行 子 集 求 和 算法 的 步骤 


现在 我 们 来 看 看 这 个 模式 如 何 应 用 于 子 集 求 和 算法 。 我 们 所 要 做 的 只 是 稍微 修改 一 
下 subsetSum.js 模块。 为 方便 起 见 ， 我 们 将 创建 一 个 名 

为 subsetSumDefer ,js 的 新 模块 ， 将 原始 的 subsetSum 类 的 代码 作为 起 点 。 我 
们 要 做 的 第 一 个 改变 是 添加 一 个 名 为 _combineInterleaved() 的 新 方法 ， 它 是 我 
们 正在 实现 的 模式 的 核心 : 


_CcombineInterleaved(set, subset) { 
this.runningCombine++; 
SetImmediate(() => { 

this._ combine(set，Subset ) ， 


if(--this.runningCombine === 0) { 
this.emit('end'); 
} 
}); 


} 


正如 我 们 所 看 到 的 ， 我 们 所 要 做 的 只 是 使 用 setImmediate() 调用 原始 的 同步 
的 _combine() 方法 。 然 而 ， 现 在 的 问题 是 因为 该 算法 不 再 是 同步 的 ， 我 们 更 难 
以 知道 何 时 已 经 完成 了 所 有 的 组 合 的 计算 。 


为 了 解决 这 个 问题 ， 我 们 必须 使 用 非常 类 似 于 我 们 

在 Chapter3-Asynchronous Control Flow Patterns with Callbacks 看 到 的 
异步 并 行 执 行 的 模式 来 追溯 _combine() 方法 的 所 有 正在 运行 的 实例 。 

当 _combine() 方法 的 所 有 实例 都 已 经 完成 运行 时 ， 触 发 end 事件 ， 通 知 任何 监 
听 器 ， 进 程 需要 做 的 所 有 动作 都 已 经 完成 。 


对 于 最 终 子 集 求 和 算法 的 重 构 版 本 。 首 先 ， 我 们 需要 将 _combine() 方法 中 的 递 
归 步 骤 替 换 为 异步 : 


_combine(set, subset) { 
for(let i = 0; i < set.length; i++) { 
Jet newSubset = subset.concat(set[i]); 
this._ combineInterleaved(set.slice(i + 1), newSubset); 
this._processSubset(newSubset); 
} 
} 


通过 上 面 的 更 改 ， 我 们 确保 算法 的 每 个 步骤 都 将 使 用 setImmediate() 在 事件 循 
环 中 排队 ， 在 事件 循环 队列 中 I / 0 请 求 之 后 执行 ， 而 不 是 同步 运行 造成 阻塞 。 


另 一 个 小 调整 是 对 于 start() 方法 : 


Start() { 
this.runningCombine = 0; 
this._ combineInterleaved(this,.set, [|]); 


} 


在 前 面 的 代码 中 ， 我 们 将 _combine() 方法 的 运行 实例 的 数量 初始 化 为 9 .我 们 还 
通过 调用 _combineInterleaved() 来 将 调用 替换 为 _combine() ， 并 移 除 

了 end 的 触发 ， 因 为 现在 _combineInterleaved() 是 异步 处 理 的 。 通 过 这 个 最 
后 的 改变 ， 我 们 的 子 集 求 和 算法 现在 应 该 能 够 通过 事件 循环 可 以 运行 的 时 间 间 隔 交 
替 地 运行 其 可 能 大 量 占用 CPU 的 代码 ， 并 且 不 会 再 造成 阻塞 。 


最 后 更 新 app,.js 模块 ， 以 便 它 可 以 使 用 新 版 本 的 SubsetSum 


const http = "require( ‘http ), 
// const SubsetSum = require('./subsetSum"' ) ， 
const SubsetSum = require('./subsetSumDefer"'); 
http.createServer(function(req, res) { 

AL 


}) 





EN 





此 时 ， 使 用 异步 的 方式 运行 ， 不 再 会 阻塞 CPU 了 。 


interleaving 模 式 


正如 我 们 所 看 到 的 ， 在 保持 应 用 程序 的 响应 性 的 同时 运行 一 个 CPU-bound 的 任务 
并 不 复杂 ， 只 需要 使 用 setImmediate() 把 同步 执行 的 代码 变 为 异步 执行 即 可 。 
但 是 ， 这 不 是 效率 最 好 的 模式 ; 实际 上 上， 延迟 执行 一 个 任务 会 额外 带 来 一 个 小 的 开 
销 ， 在 这 样 的 算法 中 ， 积 少 成 多 ， 则 会 产生 重大 的 影响 。 这 通常 是 我 们 在 运 

行 CPU 限制 任务 时 所 需要 的 最 后 一 件 事情 ， 特 别 是 如 果 我 们 必须 将 结果 直接 返回 
给 用 户 ， 这 应 该 在 合理 的 时 间 内 进行 响应 。 缓解 这 个 问题 的 一 个 可 能 的 解决 方案 是 
只 有 在 一 定数 量 的 步骤 之 后 使 用 setImmediate() ， 而 不 是 在 每 一 步 中 使 用 它 。 
但 是 这 仍然 不 能 解决 问题 的 根源 。 


记 住 ， 这 并 不 是 说 一 旦 我 们 想 要 通过 异步 的 模式 来 执行 CPU-bound 的 任务 ， 我 们 
就 应 该 不 惜 一 切 代价 来 避免 这 样 的 额外 开销 ， 事 实 上 ， 从 更 广阔 的 角度 来 看 ， 同 步 
任务 并 不 一 定 非 常温 长 和 复杂 ， 以 至 于 造成 脐 烦 。 在 繁忙 的 服务 器 中 ， 即 使 是 阻塞 
事件 循环 200 毫秒 的 任务 也 会 产生 不 布 望 的 延迟 。 在 那些 并 发 量 并 不 高 的 服务 器 
来 说 ， 即 使 产生 一 定 短 时 的 阻塞 ， 也 不 会 影响 性 能 ， 使 用 交错 执 

行 setImmediate() 可 能 是 避免 阻塞 事件 循环 的 最 简单 也 是 最 有 效 的 方法 。 


process.nextTick() 不 能 用 于 交错 长 时 间 运 行 的 任务 。 正 如 我 们 

在 Chapter1-Welcome to the Node,js Platform 中 看 到 

的 ， nextTick() 会 在 任何 未 返回 的 I / 0 之 前 调度 ， 并 且 在 重复 调 

用 process.nextTick() 最 终 会 导致 I / 0 饥饿 。 你 可 以 通过 在 前 面 的 例 
子 中 用 process.nextTick() 替换 setImmediate() 来 验证 。 


使 用 多 个 进程 


使 用 interleaving 模 式 并 不 是 我 们 用 来 运行 CPU-bound 任务 的 唯一 方法 ; 防止 
事件 循环 阻塞 的 另 一 种 模式 是 使 用 子 进 程 。 我 们 已 经 知道 Node.js 在 运 

行 I/ 0 密集 型 应 用 程序 (如 Web 服 务 器 ) 的 时 候 是 最 好 的 ， 因 为 Node.js 可 
以 使 得 我 们 可 以 通过 异步 来 优化 资源 利用 率 。 


所 以 ， 我 们 必须 保持 应 用 程序 响应 的 最 好 方法 是 不 要 在 主 应 用 程序 的 上 下 文中 运行 
多 贵 的 CPU-bound 任务 ， 而 是 使 用 单独 的 进程 。 这 有 三 个 主要 的 优点 : 


e@ 同步 任务 可 以 全 速 运行 ， 而 不 需要 交错 执行 的 步骤 

e 在 Node.js 中 处 理 进程 很 简单 ， 可 能 比 修改 一 个 使 用 setImmediate() 的 算 
法 更 容易 ， 并 且 多 进程 允许 我 们 轻松 使 用 多 个 处 理 器 ， 而 无 需 扩 展 主 应 用 程序 
本 身 。 

e@ 如 果 我 们 丨 的 需要 超 高 的 性 能 ， 可 以 使 用 低级 语言 ， 如 性 能 良好 的 C 。 


Node.js 有 一 个 充足 的 API 库 带 来 与 外 部 进程 交互 。 我 们 可 以 
在 child_process 模块 中 找到 我 们 需要 的 所 有 东西 。 而 有 全， 当 外 部 进程 只 是 另 一 
个 Node ,js 程序 时 ， 将 它 连 接 到 主 应 用 程序 是 非常 容易 的 ， 我 们 甚至 不 觉得 我 们 
在 本 地 应 用 程序 外 部 运行 任何 东西 。 这 得 益 于 child_process.fork() 函数 ， 该 
函数 创建 一 个 新 的 子 Node.js 进程 ， 并 自动 创建 一 个 通信 管道 ， 使 我 们 能 够 使 用 
与 EventEmitter 非常 相似 的 接口 交换 信息 。 来 看 如 何 用 这 个 特性 来 重 构 我 们 的 
子 集 求 和 算法 。 


将 子 集 求 和 任务 委托 给 其 他 进程 


重 构 SubsetSum 任务 的 目标 是 创建 一 个 单独 的 子 进 程 ， 负 责 处 理 CPU-bound 的 
任务 ， 使 服务 器 的 事件 循环 专注 于 处 理 来 自 网 络 的 请 求 : 


1. 我 们 将 创建 一 个 名 为 processPo01.js 的 新 模块 ， 它 将 允许 我 们 创建 一 个 正 
在 运行 的 进程 池 。 创 建 一 个 新 的 进程 代价 昂贵 ， 需 要 时 间 ， 因 此 我 们 需要 保持 
它们 不 断 运 行 ， 尽 量 不 要 产生 中 断 ， 时 刻 准 备 好 处 理 请 求 ， 使 我 们 可 以 节省 时 
间 和 CPU 。 此 外 ， 进 程 池 需要 帮助 我 们 限制 同时 运行 的 进程 数量 ， 以 避免 将 
使 我 们 的 应 用 程序 受到 拒绝 服务 ( DoS ) 攻击 。 

2. 接 下 来 ， 我 们 将 创建 一 个 名 为 subsetSumFork.js 的 模块 ， 负 责 抽 象 子 进程 
中 运行 的 SubsetSum 任务 。 它 的 角色 将 与 子 进程 进行 通信 ， 并 将 任务 的 结果 
展示 为 来 自 当前 应 用 程序 。 

3. 最 后 ， 我 们 需要 一 个 worker (我 们 的 子 进程 ) ， 一 个 新 的 Node.js 程序 ， 
运行 子 集 求 和 算法 并 将 其 结果 转发 给 父 进 程 。 


DoS 攻 击 是 企图 使 其 计划 用 户 无 法 使 用 机 器 或 网 络 资源 ， 例 如 临时 或 无 限 中 断 
或 暂停 连接 到 Internet 的 主机 的 服务 。 


实现 一 个 进程 池 


先 从 构建 processPool,js 模块 开始 : 


const fork = require('child process').fork; 
class ProcessPool { 
constructor(file, poolMax) { 
this.file = file; 
this.poolMax = poolMax; 
this.pool = []; 
this.active = []; 
this.waiting = []; 
人 


在 模块 的 第 一 部 分 ， 引 入 我 们 将 用 来 创建 新 进程 的 child_process.fork() 函 
数 。 然后 ， 我 们 定义 ProcessPool 的 构造 防 数 ， 该 构造 函数 接受 表示 要 运行 
的 Node.js 程序 的 文件 参数 以 及 池 中 运行 的 最 大 实例 数 poolMax 作为 参数 。 然 
后 我 们 定义 三 个 实例 变量 : 

e pool 表示 的 是 准备 运行 的 进程 

e@ active 表示 的 是 当前 正在 运行 的 进程 列表 

e waiting 包含 所 有 这 些 请 求 的 任务 队列 ， 保 存 由 于 缺少 可 用 的 资源 而 无 法 立 

即 实 现 的 任务 


看 ProcessPool 类 的 acquire() 方法 ， 它 负责 取出 一 个 准备 好 被 使 用 的 进程 : 


acquire(callback) { 
Jet worker; 
if(this.pool.length > 0) { // [1] 
worker = this.pool.pop(); 
this.active.push(worker); 
return process.nextTick(callback.bind(null, null, worker)); 
} 


if(this.active.length >= this.poolMax) { // [2] 
return this.waiting.push(callback); 


} 


worker = fork(this.file); // [3] 
this.active.push(worker); 
process.nextTick(callback.bind(null, null, worker)); 


函数 逻辑 如 下 : 


1. 如 果 在 进程 池 中 有 一 个 准备 好 被 使 用 的 进程 ， 我 们 只 需 将 其 移动 到 active 数 
组 中 ， 然 后 通过 异步 的 方式 调用 其 回调 函数 。 

2. 如 果 池 中 没有 可 用 的 进程 ， 或 者 已 经 达 达到 运行 进程 的 最 大 数量 ， 必 须 等 待 。 
过 把 当前 回调 放 入 waiting 数组 。 

3. 如 果 我 们 还 没有 达到 运行 进程 的 最 大 数量 ， 我 们 将 使 
用 child_process.fork() 创建 一 个 新 的 进程 ， 将 其 添加 到 active 列表 
中 ， 然 后 调用 其 回调 。 


ProcessPool 类 的 最 后 一 个 方法 是 release() ， 其 目的 是 将 一 个 进程 放 回 进 
池 中 : 


release(worker) { 
if(this.waiting.length > 0) { // [1] 
const waitingCallback = this.waiting.shift(); 
waitingCallback(null, worker); 


} 
this.active = this.active.filter(w => worker !== w); // [2] 
this.pool.push(worker); 


} 


前 面 的 代码 也 很 简单 ， 其 解释 如 下 


e@ 如 果 在 waiting 任务 队列 里 面 有 任务 需要 被 执行 ， 我 们 只 需 为 这 个 任务 分 配 
一 个 进程 worker 执行 。 

e@ 否则， 如果 在 waiting 任务 队列 中 都 没有 需要 被 执行 的 任务 ， 我 们 则 
把 active 的 进程 列表 中 的 进程 放 回 进程 池 中 。 


正如 我 们 所 看 到 的 ， 进 程 从 来 没有 中 断 ， 只 在 为 其 不 断 地 重新 分 配 任务 ， 使 我 们 可 
以 通过 在 每 个 请 求 不 重新 启动 一 个 进程 达到 节省 时 间 和 空间 的 目的 。 然 而 ， 重 要 的 
是 要 注意 ， 这 可 能 并 不 总 是 最 好 的 选择 ， 这 很 大 程度 上 取决 于 我 们 的 应 用 程序 的 要 
求 。 为 减少 进程 池 长 期 占用 内 存 ， 可 能 的 调整 如 下 : 


e@ 在 一 个 进程 空闲 一 段 时 间 后 ， 终 止 进程 ， 释 放 内 存 空间 。 
e。 添加 一 个 机 制 来 终止 或 重启 没有 响应 的 或 者 崩 演 了 的 进程 。 


父子 进程 通信 


现在 我 们 的 ProcessPool 类 已 经 准备 就 绪 ， 我 们 可 以 使 用 它 来 实 

现 SubsetSumFork 模块 ， SubsetSumFork 的 作用 是 与 子 进 程 进行 通信 得 到 子 集 
求 和 的 结果 。 前 面 曾 说 到 ， 用 child_process.fork() 启动 一 个 进程 也 给 了 我 们 
创建 了 一 个 简单 的 基于 消息 的 管道 ， 通 过 实现 subsetSumFork.js 模块 来 看 看 它 
是 如 何 工作 的 : 


const EventEmitter = require('events').EventEmitter,; 

const ProcessPool = require('./processPool'); 

const workers = new ProcessPool(_ dirname + '/subsetSumWworker.js' 
2)5 

多 


class SubsetSumFork extends EventEmitter { 
constructor(sum, set) { 


super(); 
this.sum = sum; 
this.set = set; 
} 
start() { 


workers.acquire((err, worker) => { // [II 
worker.send({sum: this.sum, set: this.set}); 


const onMessage = msg => { 
if (msg.event === 'end') { // [3] 
worker .removeListener('message', onMessage); 
workers.release(worker ); 


} 


this.emit(msg.event, msg.data); // [4| 
}; 


worker.on('message', onMessage); // [2| 


}); 
} 
} 


module.exports = SubsetSumFork; 


.4 i | 并 








首先 注意 ， 我 们 在 OA js 调用 ProcessPool 的 构造 防 数 创 
建 ProcessPool 实例 。 我 们 还 将 进程 池 的 最 大 容量 设置 为 2 。 


另外 ， 我 们 试图 维持 原来 的 SubsetSum 类 相同 的 公共 API。 实 际 
上 ， SubsetSumFork 是 EventEmitter 的 子 类 ， 它 的 构造 泡 数 接 
受 sum 和 set ， 而 start() 方法 则 触发 算法 的 执行 ， 而 这 


个 SubsetSumFork 实例 运行 在 一 个 单独 的 进程 上 。 调 用 start() 方法 时 会 发 生 


的 情况 : 


1. 我 们 试图 从 进程 池 中 获得 一 个 新 的 子 进 程 。 在 创建 进程 成 功 之 后 ， 我 们 党 试 向 


子 进程 发 送 一 条 消息 ， 和 包含 sum 和 set 。 send() 方法 是 Node.js 自动 


提供 给 child_process.fork() 创建 的 所 有 进程 ， 这 实际 上 与 父子 进程 之 间 


的 通信 管 记 地 道 有 关 9 


2. 然后 我 们 开始 监听 子 进程 返回 的 任何 消息 ， 我 们 使 用 on() Be 
事件 监听 器 (这 也 是 所 有 以 child_process.fork() 创建 的 进程 提供 的 通 


通道 的 一 部 分 ) 。 


3. 在 事件 监听 器 中 ， 我 们 首先 检查 是 否 收 到 一 个 end 事件 ， 这 意味 


着 SubsetSum 所 有 任务 已 经 完成 ， 在 这 种 情况 下 ， 我 们 删除 onMessage 


听 器 并 释放 worker ， 并 将 其 放 回 进程 池 中 ， 不 再 让 其 占用 内 存 资 源 
和 CPU 资源 。 


4. worker 以 {event，data} 格式 生成 消息 ， 使 得 任何 时 候 一 旦 子 进 程 处 
毕 任务 ， 我 们 在 外 部 都 能 接收 到 这 一 消息 。 

这 就 是 SubsetSumFork 模块 现在 我 们 来 实现 这 个 worker 应 用 程序 。 

与 父 进程 进行 通信 


现在 我 们 来 创建 subsetSumworker .js 模块 ， 我 们 的 应 用 程序 ， 这 个 模块 的 全 


内 容 将 在 一 个 单独 的 进程 中 运行 


const SubsetSum = require(',./subsetSum ' ) ， 


process.on('message', msg => { // [1] 
const subsetSum = new SubsetSum(msg.sum, msg.set); 


subsetSum.on('match', data => { // [2] 
process.send({event: 'match', data: data}); 
}); 


subsetSum.on('end', data => { 
process.send({event: 'end', data: data}); 


J 


subsetSum.start(); 


}); 


1 大 
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由 于 我 们 的 handler 处 于 一 个 单独 的 进程 中 ， 我 们 不 必 担 心 这 类 CPU-bound 任 

务 阻塞 事件 循环 ， 所 有 的 HTTP 请 求 将 继续 由 主 应 用 程序 的 事件 循环 处 理 ， 而 不 会 

中 断 。 

当 子 进程 开始 启动 时 ， 父 进程 : 

1. 子 进程 立即 开始 监听 来 自 父 进程 的 消息 。 这 可 以 通过 process.on() 函数 轻 
松 实现 。 我 们 期 望 从 父 进程 中 唯一 的 消息 是 为 新 的 SubsetSum 任务 提供 输入 
的 消息 。 只 要 收 到 这 样 的 消息 ， 我 们 创建 一 个 SubsetSum 类 的 新 实例 ， 并 注 
册 match 和 end 事件 监听 器 。 最 后 ， 我 们 用 subsetSum.start() 开始 计 
下 o 

2. 每 次 子 集 求 和 算法 收 到 J ， 把 结果 它 封装 在 格式 为 {event ，data} 的 对 
象 中 ， 并 将 其 发 送 给 父 进 程 。 这 些 消息 然后 在 subsetSumFork,js 模块 中 处 
理 ， 就 像 我 们 在 前 面 的 章节 中 看 到 的 那样 。 


注意 : 当 子 进程 不 是 Node.js 进程 时 ， 则 上 述 的 通信 管道 就 不 可 用 了 。 在 这 
种 情况 下 ， ee 
实现 我 们 自己 的 协议 来 建立 父子 进程 通信 的 接口 。 


多 进程 模式 


尝试 新 版 本 的 子 集 求 和 算法 ， 我 们 只 需要 替换 HTTP 服务 器 使 用 的 模块 ( 文 
件 app.js ) 














x 





区 node (node) 三 X curl(cur) 





..rO9/test_code 





有 有 十 罗 从 ， 我 们 也 可 以 尝试 同时 启动 两 个 subsetSum 任务 ， 我 们 可 以 充分 看 到 

多 核 CPU 的 作用 。 相反 ， 如 果 我 们 尝试 同时 运行 三 个 subsetSum 任务 ， 结 果 应 
该 是 最 后 一 个 启动 将 挂 起 。 这 不 是 因为 主 进程 的 事件 循环 被 阻塞 ， 而 是 因为 我 们 
为 subsetSum 任务 设置 了 两 个 进程 的 并 发 限制 。 


正如 我 们 所 看 到 的 ， 多 进程 模式 比 interleaving 模 式 更 加 强 大 和 灵活 ; 然而 ， 由 于 单 
个 机 器 提供 的 CPU 和 内 存 资 源 量 仍然 是 一 个 硬性 限制 ， 所 以 它 仍然 不 可 扩展 。 在 
这 种 情况 下 ， 将 负载 分 配 到 多 台 机 器 上 ， 则 是 更 优秀 的 解决 办 法 。 


Advanced Asynchronous Recipes 


一 提 的 是 ， 在 运行 CPU-bound 任务 时 ， 多 线程 可 以 成 为 多 进程 的 奉 代 方 


值得 

案 。 目 前 ， 有 几 个 npm 包公 开 了 一 个 用 于 处 理 用 户 级 模块 的 线程 的 API 其 
中 最 流行 的 是 webworker-threads。 但 是 ， 即 使 线程 更 轻 量 级 ， 完 整 的 进程 也 可 
以 提供 更 大 的 灵活 性 ， 并 具备 更 高 更 可 靠 的 容错 处 理 。 


本 章 讲述 以 下 三 点 : 


@ 弄 步 初始 化 模块 
e。 批 处 理 和 缓存 在 Node.js 异步 中 的 运用 
@ 使 用 异步 或 者 多 进程 来 处 理 CPU-bound 的 任务 
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在 早期 ， Node,js 主要 用 于 非 阻塞 的 Web 服务 器 ， 它 的 原名 实际 上 

是 web.js 。 其 创建 者 Ryan Dahl 很 快意 识 到 了 该 平台 的 潜力 ， 并 开始 使 用 工具 
对 其 进行 扩展 ， 以 便 在 Javascript / non-blocking paradigm 之 上 创建 任何 类 
型 的 服务 器 端 应 用 程序 。 Node.js 的 特点 对 于 分 布 式 系统 的 实现 是 完美 的 ， 由 分 
布 式 系统 组 成 的 节点 通过 网 络 协调 运作 。 Node.js 诞生 了 。 与 其 他 网 络 平台 不 同 
的 是 ， 非 阻塞 这 个 词 在 应 用 程序 的 生命 周期 很 早 就 进入 了 Node.js 开发 者 的 词汇 
表 中 ， 主 要 是 因为 它 具 有 单线 程 特 性 ， 不 能 利用 机 器 的 所 有 资源 ， 但 通常 还 有 更 多 
深刻 的 原因 。 正 如 我 们 将 在 本 草 中 看 到 的 ， 扩 展 应 用 程序 不 仅 意味 着 增加 其 容量 ， 
使 其 能 够 更 快 地 处 理 更 多 的 请 求 ; 这 也 是 实现 高 可 用 性 和 容错 性 的 关键 途径 。 令 人 
惊讶 的 是 ， 它 也 可 以 将 应 用 程序 的 复杂 性 分 解 为 更 易于 管理 的 部 分 。 可 伸缩 性 是 一 
个 具有 多 个 面 的 概念 ， 其 中 六 个 是 精确 的 ， 就 像 一 个 立方 体 的 面 - 即 多 维 数据 集 的 
面 。 


在 本 章 中 ， 我 们 将 学 习 以 下 主题 : 


scale cube 是 什么 
如 何 通 过 运行 同一 应 用 程序 的 多 个 实例 来 进行 扩展 
如 何在 扩展 应 用 程序 时 利用 负载 平衡 器 
什么 是 服务 注册 表 ， 以 及 如 何 使 用 它 
如 何 从 单 片 应 用 程序 设计 微服 务 架 构 
如 何 通过 使 用 一 些 简单 的 架构 模式 来 集成 大 量 的 服务 


介绍 应 用 程序 缩放 


在 我 们 深入 探讨 一 些 实际 的 模式 和 例子 之 前 ， 我 们 应 该 说 一 下 应 用 程序 扩展 的 原 
以 及 如 何 实现 。 


缩放 Node.js 应 用 程序 


我 们 已 经 知道 ， 典 型 的 Node .js 应 用 程序 的 大 部 分 任务 都 是 在 单个 线程 的 上 下 文 
中 运行 的 。 在 Chapteri-welcome to the Node.js Platform ， 我 们 了 解 到 这 不 
是 一 个 限制 ， 而 是 一 个 优点 ， 因 为 它 允 许 应 用 程序 优化 处 理 并 发 请 求 所 需 资 源 的 使 
用 情况 ， 这 要 归功 于 非 阻 塞 I / 0 范例 。 由 非 阻塞 I / 0 充分 利用 的 单线 程 对 
于 每 秒 处 理 中 等 数量 的 请 求 (通常 每 秒 几 百 次 (这 在 很 大 程度 上 取决 于 应 用 程 
序 ) ) 的 应 用 程序 奇妙 地 工作 。 假 设 我 们 使 用 的 是 商品 硬件 ， 那 么 无 论 服务 器 的 功 
能 如 何 强大 ， 单 个 线程 所 能 支持 的 容量 都 是 有 限 的 ， 因 此 ， 如 果 我 们 想 要 
将 Node.js 用 于 高 负载 应 用 程序 ， 唯 一 的 方法 就 是 将 其 扩展 多 个 进程 和 机 器 。 但 
是 ， 工 作 负 载 不 是 缩放 Node ,js 应 用 程序 的 唯一 原因 ;事实 上 ， 使 用 相同 的 技术 ， 
我 们 可 以 获得 其 他 所 需 的 属性 ， 如 可 用 性 和 容错 性 。 可 伸缩 性 也 是 适用 于 应 用 程序 
的 大 小 和 复杂 性 的 概念 ;实际 上 ， 可 拓展 性 是 设计 软件 的 另 一 个 重要 因素 。 
JavaScript 是 一 个 谨 惯 使 用 的 工具 ， 缺 乏 类 型 检查 和 许多 陷阱 可 能 是 应 用 程序 


增长 的 一 个 障碍 ， 但 是 通过 纪律 和 精确 的 设计 ， 我 们 可 以 把 它 变 成 一 个 优势 。 使 
用 Javascript ， 我 们 经 常 被 迫使 应 用 程序 变 得 简单 ， 并 将 其 拆 分 成 易于 管理 的 
部 分 ， 使 其 更 昂 于 扩展 和 分 发 。 


可 扩展 性 的 三 个 维度 


在 谈 到 可 伸缩 性 时 ， 要 理解 的 第 一 个 基本 原则 是 负载 分 布 ， 这 是 将 应 用 程序 的 负载 
分 散 到 多 个 进程 和 机 器 上 。 有 很 多 方法 可 以 实现 这 一 
点 ， Martin L，Abbott 和 Michael T， Fisher 提出 的 “可 扩展 性 的 艺术 ”一 书 提 
出 了 一 个 巧妙 的 模型 来 表示 它们 ， 称 为 scale cube 。 该 模型 描述 了 以 下 三 个 方 
面 的 可 扩展 性 : 

e@ X 轴 : 克隆 ， 或 者 说 复制 

e y 轴 : 按 服务 /功能 分 解 

e@ Z 轴 : 按 数据 分 区 分 割 
这 三 个 维度 可 以 表示 为 一 个 立方 体 ， 如 下 图 所 示 : 


Cloned, Decomposed, 
and Partitioned application 


Y Axis - Decomposing 
by service/functionality 


Z Axis - Splitting by 
data partition 


Monolithic, Single instance 
application 


X Axis - Cloning 





多 维 数 据 集 的 左下 角 表 示 应 用 程序 在 单个 代码 库 ( 单 片 应 用 程序 ) 中 具有 所 有 功能 
和 服务 ， 并 在 单个 实例 上 运行 。 对 于 处 理 小 型 工作 负载 的 应 用 程序 或 处 于 开发 的 旱 
期 阶段 ， 这 是 一 种 常见 的 情况 。 


单 片 非 缩放 应 用 程序 最 直观 的 发 展 是 沿 着 x 轴 向 右 移动 ， 这 很 简单 ， 大 部 分 时 间 


价格 便宜 (在 开发 成 本 方面 ) 并 且 非 常 有 效 。 这 个 技术 背后 的 原理 是 基本 的 ， 就 是 
克隆 相同 的 应 用 程序 n 次 ， 并 让 每 个 实例 处 理工 作 负 载 的 1/n。 


y 轴 缩 放 意 味 着 根据 其 功能 ， 服 务 或 用 例 来 分 解 应 用 程序 。 在 这 种 情况 下 ， 分 
意味 着 创建 不 同 的 ， 独 立 的 应 用 程序 ， 每 个 应 用 程序 都 有 其 自己 的 代码 库 ， 有 时 
还 有 自己 的 专用 数据 库 ， 甚 至 是 独立 的 Ul。 例 如 ， 常 见 的 情况 是 将 负责 管理 的 应 用 
程序 的 一 部 分 与 面向 公众 的 产品 分 开 。 另 一 个 例子 是 提取 负责 用 户 认证 的 服务 ， 创 
建 一 个 专用 的 认证 服务 器 。 按 照 功 能 划分 应 用 程序 的 标准 主要 取决 于 其 业务 需求 ， 
用 例 ， 数 据 以 及 其 他 因素 ， 我 们 将 在 本 章 后 面 介绍 。 有 趣 的 是 ， 这 不 仅 是 应 用 程序 
的 体系 结构 ， 还 是 从 开发 的 角度 来 看 ， 它 是 最 大 的 影响 。 正 如 我 们 将 看 到 的 ， 微 服 
务 是 一 个 术语 ， 目 前 通常 与 细 粒 度 的 y 轴 缩 放 关 联 。 


最 后 一 个 缩放 维度 是 z 轴 ， 应 用 程序 以 这 样 一 种 方式 分 割 ， 即 每 个 实例 只 负责 整 
个 数据 的 一 部 分 。 这 是 一 种 主要 用 于 数据 库 的 技术 ， 也 是 水 平分 区 或 分 片 的 名 称 。 
在 此 设置 中 ， 同 一 个 应 用 程序 有 多 个 实例 ， 每 个 实例 都 在 数据 的 一 个 分 区 上 运行 ， 
这 是 使 用 不 同 的 标准 确定 的 。 例 如 ， 我 们 可 以 根据 他 们 的 国家 (列表 分 区 ) 或 者 基 
于 他 们 姓氏 的 起 始 字母 (范围 分 区 ) 划分 应 用 程序 的 用 户 ， 或 者 让 一 个 散 列 函数 决 
定 每 个 用 户 所 属 的 分 区 〈 散 列 分 区 ) 。 然 后 可 以 将 每 个 分 区 分 配给 我 们 应 用 程序 的 
特定 实例 。 使 用 数据 分 区 需要 在 每 个 操作 之 前 进行 查找 步骤 ， 以 确定 应 用 程序 的 哪 
个 实例 负责 给 定 的 数据 。 正 如 我 们 所 说 的 ， 数 据 分 区 通常 在 数据 库 级 应 用 和 处 理 ， 
因为 它 的 主要 目的 是 克服 处 理 大 型 单一 数据 集 (磁盘 空间 有 限 ， 内 存 和 网 络 容量 

限 ) 的 问题 。 在 应 用 程序 级 别 应 用 它 仅 仅 适 用 于 复杂 的 分 布 式 体 系 结构 或 非常 特殊 
的 用 例 ， 例 如 在 构建 依赖 于 数据 持久 性 定制 解决 方案 的 应 用 程序 ， 使 用 不 支持 分 区 
的 数据 库 时 ， 或 者 在 Google 上 构建 应 用 程序 时 规模 。 考 虑 到 其 复杂 性 ， 只 有 在 尺 
度 立 方 体 的 x 轴 和 y 轴 被 充分 利用 之 后 ， 才 应 该 考虑 沿 着 z 轴 缩 放 应 用 程序 。 


在 下 一 节 中 ， 我 们 将 重点 介绍 两 种 最 常用 和 最 有 效 的 技术 来 扩展 Node.js 应 用 程 
序 ， 即 通过 功能 /服务 进行 克隆 和 分 解 。 


克隆 和 负载 平衡 


传统 的 多 线程 Web 服务 器 通常 只 在 分 配给 一 台 机 器 的 资源 不 能 再 升级 的 时 候 才 进 

行 扩展 ， 否 则 这 个 服务 器 的 成 本 将 高 于 简单 地 启动 另 一 台 机 器 的 成 本 。 通 过 使 用 多 
个 线程 ， 传 统 的 Web 服 务 器 可 以 利用 服务 器 的 所 有 处 理 能 力 ， 使 用 所 有 可 用 的 处 理 
器 和 内 存 。 但 是 ， 使 用 单个 Node ,js 进程 很 难 做 到 这 一 点 ， 它 是 单线 程 的 ， 

在 64 位 计算 机 上 默认 具有 1.7 GB 的 内 存 限 制 〈 这 需要 增加 一 个 名 

为 --max_old_space_size 的 特殊 命令 行 选项 ) 。 这 意味 着 Node.js 应 用 程序 

通常 比 传统 的 Web 服务 器 更 快 地 缩放 ， 即 使 在 单个 机 器 的 情况 下 ， 也 能 够 利用 其 

所 有 资源 。 


在 Node.js 中 ， 重 直 缩 放 (向 单个 机 器 添加 更 多 资源 ) 和 水 平 缩放 (将 更 多 
机 器 添加 到 基础 架构 ) 几乎 是 等 价 的 概念 ; 事实 上 这 两 种 技术 类 似 ， 都 是 增加 


服务 器 的 负载 能 力 。 


不 要 被 愚弄 ， 把 这 看 作 是 一 个 缺点 。 相 反 ， 几 乎 被 迫 扩 展 对 应 用 程序 的 其 他 属性 ， 
特别 是 可 用 性 和 容错 性 具有 有 益 的 影响 。 实 际 上 ， 通 过 克隆 来 扩展 Node.js 应 用 
程序 相对 比较 简单 ， 即 使 不 需要 获取 更 多 的 资源 ， 也 只 是 为 了 具有 宛 余 的 容错 设置 
的 目的 而 实现 。 这 也 促使 开发 人 员 从 应 用 程序 的 早期 阶段 考虑 可 伸缩 性 ， 确 保 应 用 
程序 不 依赖 任何 不 能 在 多 个 进程 或 机 器 间 共 享 的 资源 。 实 际 上 ， 扩 展 应 用 程序 的 绝 
对 先决 条 件 是 每 个 实例 不 必 将 通用 信息 存储 在 无 法 共享 的 资源 (通常 是 硬件 ， 如 内 


沿 
ped 
和 十 


存 或 磁盘 ) 上 。 例 如 ， 在 Web 服务 器 中 ， 将 会 话 数据 存储 在 内 存 中 或 磁盘 上 是 一 
种 惯例 ， 不 适合 缩放 ;相反 ， 使 用 共享 数据 库 将 确保 每 个 实例 都 可 以 访问 相同 的 会 话 
信息 ， 无 论 它 在 哪里 部 署 。 现 在 我 们 来 介绍 扩展 Node.js 应 用 程序 的 最 基本 机 
制 : 集群 模块 。 


cluster 模块 


在 Node.js 中 ， 在 单个 机 器 上 运行 的 不 同 实例 之 间 分 配 应 用 程序 负载 的 最 简单 模 
式 是 使 用 作为 核心 库 一 部 分 的 cluster 模块 。 和 群集 模块 简化 了 相同 应 用 程序 的 新 
实例 的 分 又 ， 并 自动 将 传 入 的 连接 分 配 到 其 中 ， 如 下 图 所 示 : 


Server machine 


Worker 
process 


Incoming Master Worker 
requests process process 





Worker 
process 








主 进程 负责 产生 大 量 进 程 ( worker ) ， 每 个 进程 代表 我 们 想 要 扩展 的 应 用 程序 的 
一 个 实例 。 每 个 传 入 连接 然后 分 布 在 克隆 的 worker ， 分 散在 他 们 的 负载 。 


关于 cluster 模块 行为 的 注意 事项 


在 Node.js 0.8 和 0.10 中 ， cluster 模块 在 工作 人 员 之 间 共 享 相同 的 服务 器 
套 接 字 ， 并 离开 操作 系统 ， 负 载 平 衡 跨 可 用 工作 者 的 传 入 连接 。 但 是 ， 这 种 方法 存 
在 问题 。 实 际 上 ， 操 作 系 统 用 于 在 工作 人 员 之 问 分 配 负载 的 算法 并 不 意味 着 对 网 络 
请 求 进行 负载 平衡 ， 而 是 调度 进程 的 执行 。 因 此 ， 在 所 有 情况 下 ， 分 配 并 不 总 是 一 
致 的 ; 往往 只 有 一 小 部 分 工人 获得 了 大 部 分 的 工作 量 。 这 种 类 型 的 行为 对 于 操作 系 
统 调度 程序 是 有 意义 的 ， 因 为 它 着 重 于 最 小 化 不 同 进程 之 间 的 上 下 文 切换 。 简 而 言 
之 ， cluster 模块 在 Node.js <= 0.10 中 不 能 充分 发 挥 其 潜力 。 但 是 ， 情 况 从 
版 本 0.11.2 开始 变化 ， 在 主 进 程 中 包含 明确 的 循环 负载 平衡 算法 ， 这 确保 请 求 在 


所 有 工作 者 中 均匀 分 布 新 的 负载 均衡 算法 默认 情况 下 在 Windows 以 外 的 所 有 平 

台 上 局 用， 可 以 通过 设置 变量 cluster.schedulingPolicy ， 使 用 常 

量 rE (循环 ) 或 cluster.SCHED_NONE (由 操作 系统 处 理 ) 。 
轮 循 算法 轮流 在 可 用 服务 器 上 均匀 分 配 负载 。 第 一 个 请 求 被 转发 到 第 一 个 服务 
器 ， 第 二 个 请 求 转 发 到 列表 中 的 下 一 个 服务 器 ， 依 此 类 推 。 当 列 表 结 来 时 ， 迁 
代 从 头 开 始 。 这 是 最 简单 和 最 常用 的 负载 均衡 算法 之 一 ; 然而 ， 这 不 是 唯一 的 
一 个 。 更 复杂 的 算法 允许 分 配 优先 级 ， 选 择 负载 最 少 的 服务 器 nd 
的 服务 器 。 您 可 以 在 这 两 个 Node,js 问题 中 找到 关于 集群 模块 演变 的 更 多 

节 : https://github.com/nodejs/node-v0.x-archive/issues/4435 和 

https://github.com/nodejs/node-v0.x-archive/issues/3241 


建立 一 个 简单 的 HTTP 服 务 器 


现在 开始 研究 一 个 例子 。 让 我 们 构建 一 个 小 型 的 HTTP 服务 器 ， 使 用 集群 模块 进 
行 克 隆 和 负载 平衡 。 首先， 我 们 需要 一 个 应 用 程序 来 扩展 ; 对 于 这 个 例子 我 们 不 需 
要 太 多 ， 只 是 一 个 非常 基本 的 HTTP 服务 器 。 


我 们 创建 一 个 名 为 app.js 的 文件 ， 其 中 包含 以 下 代码 : 


const http = require('http"'); 
const pid = process.pid; 
http.createServer((req, res) => { 
for (let 1= 1e7,; 1>0, i--) 从 
console.log( Handling request from ${pid}. ); 
res.end( Hello from ${pid}\n. ); 
}).listen(8080, () => { 
console.log( Started $Lpid} ); 
}); 


我 们 刚刚 构建 的 HTTP 服务 器 通过 发 回 包 含 PID 的 消息 来 响应 任何 请 求 ; 这 将 有 
助 于 识别 哪个 应 用 程序 实例 正在 处 理 请 求 。 另 外 ， eg 
作 ， 我 们 执行 一 个 空 循环 1900 万 次 ; 没有 这 个 ， 考 虑 到 我 们 要 为 这 个 例子 运行 的 
小 规模 的 测试 ， 服 务 器 负载 几乎 是 没有 的 。 


我 们 想 扩展 的 app 模块 可 以 是 任何 东西 ， 也 可 以 使 用 Web 框 架 来 实现 ， 例 


如 Express 。 


现在 ， 我 们 可 以 像 往常 一 样 运行 应 用 程序 ， a 
或 curl 向 http://localhost:8080 发 送 请 求 ， 检 查 是 否 所 有 程序 都 按 预期 工 
作 。 


我 们 也 可 以 尝试 测量 服务 器 每 秒 只 能 使 用 一 个 进程 处 理 的 请 求 ; 为 此 ， 我 们 可 以 使 
用 网 络 基准 测试 工具 ， 如 siege 或 Apache ab : 


siege -c200 -t10S http://localhost:8080 


用 ab ， 命 令 行 会 非常 相似 : 


ab -c200 -t10 http://localhost:8080/ 


上 述 命令 将 以 200 个 并 发 连接 加 载 服务 器 10 秒 钟 。 作 为 参考 ， 具 有 4 个 处 理 
器 的 系统 的 结果 是 每 秒 99 个 事务 的 顺序 ， 平 均 CPU 利用 率 仅 为 20% 。 


请 记 住 ， 我 们 将 在 本 章 中 执行 的 负载 测试 故意 做 成 最 简单 和 最 小 的 ， 仅 供 参 考 
和 学 习 之 用 。 他 们 的 结果 不 能 提供 我 们 正在 分 析 的 各 种 技术 的 性 能 
的 100% 准确 的 评估 。 


x node (node) 三 Xx ~/workspace (zsh) 








使 用 cluster 模块 进行 扩展 


现在 让 我 们 尝试 使 用 集群 模块 来 扩展 我 们 的 应 用 程序 。 我 们 来 创建 一 个 名 
为 clusteredApp.,js 的 新 模块 : 


const cluster = require('cluster'); 
const os = require('os'); 


if(cluster.isMaster) { 
const cpus = os.cpus().length; 
Form (Le 0 < cbus A 
cluster .fork(); 


} 
} else { 
require('./app'); // [2] 


正如 我 们 所 看 到 的 ， 使 用 cluster 模块 只 需要 很 少 的 努力 。 我 们 来 分 析 一 下 发 生 
的 事情 : 


@ 当 我 们 从 命令 行 启动 clusteredApp 时 ， 我 们 实际 上 正在 执行 主 进 
程 。 cluster.isMaster 变量 设置 为 true ， 我 们 需要 做 的 唯一 工作 是 使 
用 cluster.fork() 来 fork 当前 进程 。 在 前 面 的 示例 中 ， 我 们 启动 的 系统 
中 的 CPU 数量 与 可 用 的 所 有 处 理 能 力 相 同 。 

@ 当 从 主 进 程 执行 cluster.fork() 时 ， 当 前 主 模块 ( clusteredApp ) 再 次 


运行 ， 但 是 这 次 是 工作 模式 ( cluster.isWorker 设置 为 true ， 

而 cluster ,isMaster 为 false ) 。 当 应 用 程序 作为 worker 运行 时 ， 它 
可 以 开始 做 一 些 实际 的 工作 。 在 我 们 的 例子 中 ， 我 们 加 载 了 app 模块 ， 它 实 
际 上 启动 了 一 个 新 的 HTTP 服务 器 。 


记 住 每 个 worker 都 是 一 个 不 同 的 Node.js 进程 ， 它 有 自己 的 事件 循环 ， 内 
存 空间 和 加 载 的 模块 。 


有 趣 的 是 ， 注 意 到 集群 模块 的 使 用 基于 循环 模式 ， 这 使 得 运行 多 个 应 用 程序 的 实例 
变 得 非常 简单 : 


If (cluster.isMaster) { 
// /ho fomk() 

} else { 
// do work 


} 


在 底层 ， 集 群 模块 使 用 了 child_process.fork() API (我 们 已 经 

在 Chapter 9，Advanced Asynchronous Recipes 中 已 经 遇 到 了 这 个 API ) ， 
因此 我 们 也 在 master 和 worker 之 间 有 一 个 可 用 的 通信 通道 。 工 人 的 实例 可 以 
通过 变量 clLuster,workers 访问 ， 所 以 向 所 有 人 发 送 消息 就 像 运 行 下 面 几 行 代码 
一 样 简单 : 


0bject,keys(cluster.workers).forEach(id => { 
cluster .workers[id].send('Hello from the master ' ) ， 


jp 


现在 ， 让 我 们 尝试 以 集群 模式 运行 我 们 的 HTTP 服务 器 。 我 们 可 以 像 往 常 一 样 启 
动 clusteredApp 模块 来 做 到 这 一 点 : 


node clusteredApp 


如 果 我 们 的 机 器 有 多 个 处 理 器 ， 我 们 应 该 看 到 一 些 worker 正在 被 主 进程 一 个 接 一 
个 地 启动 。 例 如 ， 在 一 个 有 四 个 处 理 器 的 系统 中 ， 终 端 应 该 是 这 样 的 : 


Started 14107 
Started 14099 
Started 14102 
Started 14101 


如 果 我 们 现在 尝试 使 用 URL http://localhost : 8080 再 次 访问 我 们 的 服务 器 ， 
我 们 应 该 注意 到 每 个 请 求 都 会 返回 一 个 带 有 不 同 PID 的 消息 ， 这 意味 着 这 些 请 求 
已 经 由 不 同 的 worker 处 理 ， 确 认 负载 正在 其 中 分 配 。 


现在 我 们 可 以 尝试 再 次 加 载 测 试 我 们 的 服务 器 : 


siege -c200 -tl10S http://localhost:8080 


这 样 ， 我 们 就 能 够 发 现 通过 在 多 个 进程 中 扩展 应 用 程序 所 获得 的 性 能 提升 。 作 为 参 
考 ， 通 过 在 具有 4 个 处 理 器 的 Linux 系统 中 使 用 Node.js 6 ， 在 平均 CPU 负 
载 为 90% 的 情况 下 ， 性 能 提高 应 该 是 3 倍 (为 279 trans / sec ， 比 

起 90 trans / sec )。 


cluster 模块 的 可 拓展 性 和 可 用 性 


正如 我 们 已 经 提 到 的 那样 ， 扩 展 应 用 程序 还 带 来 了 其 他 优点 ， 特 别 是 即使 在 出 现 故 
障 或 崩溃 时 也 能 保持 一 定 的 服务 水 平 的 能 力 。 这 个 属性 也 被 称 为 弹性 ， 它 有 助 于 系 
统 的 可 用 性 。 


通过 启动 同一 应 用 程序 的 多 个 实例 ， 我 们 正在 创建 一 个 宛 余 系统 ， 这 意味 着 如 果 一 
个 实例 由 于 某 种 原因 而 关闭 ， 我 们 仍然 有 其 他 实例 可 以 为 请 求 提供 服务 。 这 种 模式 
使 用 集群 模块 非常 简单 。 让 我 们 看 看 它 是 如 何 工 作 的 | 


我 们 以 上 一 节 的 代码 为 起 点 。 特 别 是 ， 我 们 修改 app.js 模块 ， 使 其 在 随机 时 间 间 


隔 后 崩溃 : 


// 在 app.js 的 最 后 
SetTimeout(() => { 
throw new Error('Ooops'); 
}, Math.ceil(Math.random() * 3) * 1000); 


在 这 种 变化 的 情况 下 ， 我 们 的 服务 器 在 1 到 3 之 间 的 随机 数字 时 间 之 后 退出 ， 出 
现 错 误 。 在 昌 实 的 情况 下 ， 这 会 导致 我 们 的 应 用 程序 停止 工作 ， 当 然 ， 服 务 请 求 ， 
除非 我 们 使 用 一 些 外 部 工具 来 监视 其 状态 并 自动 重启 。 但 是 ， 如 果 我 们 只 有 一 个 实 
例 ， 那 么 由 应 用 程序 的 启动 时 间 引 起 的 重新 启动 之 间 可 能 会 有 一 个 不 可 忽略 的 延 

迟 。 这 意味 着 在 这 些 重新 启动 期 间 ， 应 用 程序 不 可 用 。 拥 有 多 个 实例 会 确保 我 们 总 
是 有 一 个 备份 系统 来 处 理 即将 到 来 的 请 求 ， 即 使 其 中 一 个 工作 者 失败 。 


使 用 cluster 模块 ， 只 要 我 们 检测 到 一 个 错误 代码 被 终止 ， 我 们 所 要 做 的 就 是 产 
生 一 个 新 的 worker 。 那么 我 们 来 修改 clusteredApp.js 模块 来 考虑 这 个 问 
题 : 


if (cluster.isMaster) { 


cluster.on('exit', (worker, code) => { 
f (code != && lworker.suicide) { 


.log('Worker crashed. Starting a new worker'); 
Cluster .fork(); 


} 
J 
elsent 
('./app'); 
} 
在 前 面 的 代码 中 ， 一 旦 主 进程 收 到 exit 事件 ， 我 们 检查 是 有 意 终 止 的 还 是 错 


J 雪 果 ; 我 们 通过 检查 状态 码 和 worker. Ls ei 来 实现 这 一 
点 ， 这 表明 工作 者 是 否 ee 我 们 局 

动 一 个 新 的 worker 。 有 意思 的 是 ， 当 前 溃 的 worker 重新 启动 时 ， 

他 worker 仍然 可 以 提供 请 求 ， 从 而 不 会 影响 应 用 程序 的 可 用 性 。 


为 了 测试 这 个 假设 ， 我 们 可 以 试 着 用 siege 再 次 重 局 启 我 们 的 服务 器 。 当 压力 测试 
完成 时 ， 我 们 注意 到 siege 产生 的 各 种 指标 中 还 有 一 个 衡量 应 用 程序 可 用 性 的 指 
标 。 预期 的 结果 会 是 这 样 的 : 


Transactions: 3027 hits 
Availability: 99.31% 
Failed transactions: 21 


XxX ..10/01_cluster 


01_cluster git:(master) | 





请 记 住 ， 这 个 结果 可 能 会 有 很 大 的 变化 。 它 在 很 大 程度 上 取决 于 正在 运行 的 实例 的 
数量 以 及 它们 在 测试 期 间 崩 溃 的 次 数 ， 但 是 它 应 该 很 好 地 指出 我 们 的 解决 方案 是 如 
何 工作 的 。 前 面 的 数字 告诉 我 们 ， 尽 管 我 们 的 应 用 程序 不 断 崩 演 ， 但 是 在 超过 

了 3027 次 请 求 中 只 有 21 次 失败 的 请 求 。 在 我 们 构建 的 示例 场景 中 ， 大 部 分 失 
败 的 请 求 将 由 崩溃 期 间 已 建立 连接 的 中 断 引 起 。 


事实 上 ， 当 发 生 这 种 情况 时 ， siege 将 会 打印 出 如 下 错误 : 


[error] socket: read error Connection reset by peer sock.c:479: 
Connection reset by peer 


不 幸 的 是 ， 为 了 防止 这 类 类 型 的 错误 ， 我 们 能 够 做 的 不 多 ， 特 别 是 当 应 用 程序 因 裔 
溃 而 终止 时 。 尽 管 如 此 ， 我 们 的 解决 方案 证 明 是 可 行 的 ， 对 于 经 常 崩 溃 的 应 用 程 
序 ， 使 用 cluster ， 其 可 拓展 性 性 并 不 差 。 


零 宕 机 重 局 


当代 码 需 要 更 新 时 ， Node.js 应 用 程序 也 可 能 需要 重新 启动 。 因 此 ， 在 这 种 情况 
下 ， 拥 有 多 个 实例 可 以 帮助 维护 我 们 应 用 程序 的 可 用 性 。 当 我 们 不 得 不 故意 重新 启 
动 一 个 应 用 程序 来 更 新 它 时 ， 会 出 现 一 个 小 窗口 ， 在 这 个 窗口 中 应 用 程序 将 重新 启 
动 并 且 无 法 为 请 求 提供 服务 。 如 果 我 们 正在 更 新 我 们 的 个 人 博客 ， 这 是 可 以 接受 

的 ， 但 对 于 具有 服务 水 平 协议 ( SLA ) 的 专业 应 用 程序 就 不 行 了 ， 或 者 作为 持续 
交付 过 程 的 一 部 分 经 常 更 新 的 专业 应 用 程序 。 解 决 方案 是 实现 零 宕 机 重新 启动 ， 更 
新 应 用 程序 的 代码 而 不 影响 其 可 用 性 。 


使 用 cluster 模块 ， 这 又 是 一 项 非常 简单 的 任务 ; 该 模式 包括 一 次 重启 一 
个 worker 。 这 样 ， 剩 余 的 worker 可 以 继续 操作 和 维护 可 用 应 用 程序 的 服务 。 


然后 ， 让 我 们 将 这 个 新 模块 添加 到 我 们 的 集群 服务 器 ; 我 们 所 要 做 的 就 是 添加 一 些 
由 主 进 程 执行 的 新 代码 (看 clusteredApp.js 文件 ) : 


const cluster = requlire( cluster  ) ， 
const os = require('os'); 


if (cluster.isMaster) { 
const cpus = os.cpus().length; 
for (let i = 0; 1 < cpus; 1++) { 
cluster.fork( ); 


} 


cluster.on('exit', (worker, code) => { 

If (code != 0 && Iworker.exitedAfterDisconnect) { 
console.log('Worker crashed. Starting a new worker'); 
cluster.fork(); 

} 

}); 


process.on('SIGUSR2', () => { 
console.log('Restarting workers'); 
const workers = Object.keys(cluster .workers); 


function restartworker(i) { 
if (i >= workers.length) return,; 
const worker = cluster.workers[workers[i]]; 
console.log( Stopping worker: ${worker.process.pid} ); 
worker .disconnect( ); 


worker.on('exit', () => { 
If (!worker.suicide) return,; 
const newworker = cluster.fork(); 
newWorker.on('listening', () => { 
restartworker(i + 1); 
}); 
}); 


restartworker (0); 


}); 
} else { 
require('./app' ); 


} 


这 是 前 面 的 代码 的 工作 原理 : 


1. 一 旦 接收 到 SIGUSR2 信号 ， 则 触发 worker 重新 启动 。 

2. 我 们 定义 一 个 名 为 restartWorker() 的 迭代 器 函数 。 异 步 迭 
代 cluster .workers 的 每 一 项 。 

3. restartworker() 函数 的 第 一 个 任务 是 通过 调用 worker ,disconnect() 来 

优雅 地 停止 工作 。 

当 终 止 的 进程 退出 时 ， 我 们 可 以 产生 一 个 新 的 worker 。 

5. 只 有 当 新 的 worker 准备 好 并 且 正 在 侦 听 新 的 连接 时 ， 我 们 才 可 以 通过 调用 选 
代 的 下 一 步 来 重新 启动 下 一 个 worker 。 


二 


由 于 我 们 的 程序 使 用 了 UNIX 信号 ， 因 此 在 Windows 系统 上 无 法 正常 工作 
(除非 您 在 Windows 10 中 使 用 最 新 的 Windows 子 系统 ) 。 信 号 是 实现 我 们 
的 解决 方案 的 最 简单 的 机 制 。 但 是 ， 这 不 是 唯一 的 ; 实际 上 ， 其 他 方法 包括 个 
听 来 自 套 接 字 ， 管 道 或 标准 输入 的 命令 。 


现在 我 们 可 以 通过 运行 clusteredApp 模块 然后 发 送 一 个 SIGUSR2 信号 来 测试 我 
们 的 零 宕 机 重启 。 但 是 0 程 的 PID ; 以 下 命令 可 用 于 从 所 
有 正在 运行 的 进程 的 列表 中 识别 


ps af 


组 节点 进程 的 父 节 点 。 一 旦 我 们 有 我 们 正在 寻找 的 PID ， 我 们 可 


Se 
人 > 。 
已 。 


主 进 程 应 该 是 
以 发 送信 号 给 
kill -SIGUSR2 <PID> 


现在 ， clusteredApp 应 用 程序 的 输出 应 该 显示 如 下 所 示 : 


Restarting workers 
Stopping worker: 19389 
Started 19407 

Stopping worker: 19390 
Started 19409 


我 们 可 以 尝试 再 次 使 用 siege 来 验证 我 们 在 重新 启动 worker 时 对 应 用 程序 的 可 
用 性 没有 太 大 的 影响 。 


pm2 是 一 个 基于 cluster 的 小 型 实用 程序 ， 它 提供 负载 平衡 ， 过 程 监控 ， 零 
宕 机 重启 等 功能 。 


处 理 有 状态 的 通信 


cluster 模块 不 适用 于 有 状态 通信 ， 应 用 程序 维护 的 状态 在 各 个 实例 之 间 不 共 
享 。 这 是 因为 属于 相同 有 状态 会 话 的 不 同 请 求 可 能 会 由 应 用 程序 的 不 同 实例 处 理 。 
这 不 是 一 个 仅 限 于 cluster 模块 的 问题 ， 但 通常 它 适 用 于 任何 种 类 的 无 状态 负载 
均衡 算法 。 例 如 ， 考 虑 下 图 所 描述 的 情况 : 
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用 户 John 最 初 发 送 一 个 请 求 到 我 们 的 应 用 程序 来 验证 自己 身份 ， 但 是 操作 的 结果 是 
在 本 地 注册 的 (例如 在 内 存 中 ) ， 所 以 只 有 接收 到 认证 请 求 的 应 用 程序 实例 ( 实 
例 A ) pe John 已 成 功 通 过 身份 验证 。 当 John 发 送 一 个 新 的 请 求 时 ， 负 载 平 
衡器 可 能 会 将 它 转发 给 应 用 程序 的 另 一 个 实例 ， 实 际 上 它 不 具有 John 的 认证 细 
节 ， 因 此 拒绝 执行 该 操作 。 。 我们 刚刚 描述 的 应 用 程序 不 能 按 比例 缩放 ， 但 幸运 的 
是 ， 我 们 可 以 通过 两 个 简单 的 解决 方案 来 解决 问题 。 


跨 多 个 实例 共享 状态 
要 实现 在 所 有 实例 之 间 共 享 状 态 ， 我 们 必须 使 用 有 状态 通信 来 扩展 应 用 程序 。 这 可 


以 通过 共享 数据 存储 容易 地 实现 ， 例 如 像 PostgreSQL，MongoDB 或 CouchDB， 或 
者 其 至 更 好 ， 我 们 可 以 使 用 内 存 存储 ， 如 Redis 或 Memcached。 


下 图 概述 了 这 个 简单 有 效 的 解决 方案 : 
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在 通信 状态 中 使 用 共享 存储 的 唯一 缺点 是 ， 这 并 不 总 是 容易 实现 的 ， 例 如 ， 我 们 可 
能 会 使 用 现 有 的 库 在 内 存 中 保持 通信 状态 ; 无 论 如 何 ， 如 果 我 们 有 一 个 现 有 的 应 用 
程序 ， 那 要 在 现 有 应 用 程序 上 增加 共享 数据 存储 则 需要 更 改 应 用 程序 的 代码 (如果 
它 尚 未 支持 ) 。 正 如 我 们 接 下 来 会 看 到 的 那样 ， 看 接 下 来 这 个 解决 方案 。 


粘性 负载 均衡 


我 们 必须 支持 有 状态 通信 的 另 一 种 方法 是 使 负载 均衡 器 始终 将 与 会 话 相关 的 所 有 请 
求 都 路 由 到 应 用 程序 的 同一 实例 。 这 种 技术 也 被 称 为 粘性 负载 均衡 。 


下 图 说 明了 涉及 此 技术 的 简化 方案 : 
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从 上 图 可 以 看 出 ， 当 负载 均衡 器 接收 到 与 session 相关 的 请 求 时 ， 它 会 创建 一 个 
映射 ， 其 中 包含 由 负载 平衡 算法 选择 的 一 个 特定 实例 。 负 载 平 衡器 下 一 次 接收 到 来 
自 同一 个 会 话 的 请 求 时 ， 会 绕 过 负载 平衡 算法 ， 选 择 之 前 与 会 话 关联 的 应 用 程序 实 
例 。 我 们 刚刚 描述 的 特定 技术 涉及 检查 与 请 求 相 关 的 session ID (通常 由 应 用 
程序 或 负载 平衡 器 本 身 包含 在 cookie 中 ) 。 


将 有 状态 连接 关联 到 单个 服务 器 的 更 简单 的 蔡 代 方法 是 记 住 执行 请 求 的 客户 端 

的 IP 地 址 。 通 常 ， 将 IP 提供 给 一 个 hash 郊 数 ， 该 防 数 生成 一 个 代表 指定 接 
收 请 求 的 应 用 程序 实例 的 ID 。 这 种 技术 的 优点 是 不 需要 负载 均衡 器 记 住 关联 。 但 
是 ， 对 于 频繁 更 换 IP 的 设备 ， 例 如 在 不 同 网 络 上 漫游 时 ， 它 不 起 作用 。 


cluster 模块 默认 不 支持 粘性 负载 均衡 ; 不 过 ， 它 可 以 添加 一 个 名 为 sticky- 
session 的 npm 库 来 实现 这 一 点 。 


粘性 负载 均衡 的 一 个 大 问题 是 ， 它 使 得 拥有 兄 余 系 统 的 大 部 分 优点 失效 ， 其 中 应 用 
程序 的 所 有 实例 都 是 相同 的 ， 并 且 实例 可 以 最 终 替代 另 一 个 停止 工作 的 实例 。 出 于 
这 些 原因 ， 建 议 避 免 在 共享 存储 中 维护 任何 会 话 状态 使 用 粘性 负载 均衡 ， 在 根本 不 
需要 有 状态 通信 的 应 用 程序 (例如 ， 通 过 在 请 求 中 包含 状态 ) 使 用 粘性 负载 均衡 。 


对 于 需要 粘性 负载 平衡 的 库 的 一 个 真实 例子 ， 可 以 看 看 socket.io 
使 用 反 向 代理 进行 缩放 


cluster 模块 不 是 我 们 必须 扩展 Node.js Web 应 用 程序 的 唯一 选项 。 事 实 上 ， 
更 多 的 传统 技术 往往 是 首选 ， 因 为 它们 在 生产 环境 中 更 易于 使 用 。 


替代 cluster 的 另 一 种 方法 是 启动 在 不 同 端口 或 计算 机 上 运行 的 同一 应 用 程序 的 
多 个 独立 实例 ， 然 后 使 用 反 向 代理 (或 网 关 ) 提供 对 这 些 实例 的 访问 权限 ， 从 而 将 
流量 分 配 到 这 些 实例 。 在 这 个 配置 中 ， 我 们 没有 一 个 主 进程 将 请 求 分 发 给 一 组 工作 
者 ， 而 是 在 同一 台 机 器 上 运行 的 一 组 不 同 的 进程 〈 使 用 不 同 的 端口 ) ， 或 者 分 散在 
网 络 内 的 不 同 机 器 上 。 为 了 向 我 们 的 应 用 程序 提供 单一 的 访问 点 ， 我 们 可 以 使 用 一 
个 反 向 代理 ， 放 置 在 客户 端 和 应 用 程序 的 实例 之 间 的 一 个 特殊 的 设备 或 服务 ， 它 接 
受 任何 请 求 并 将 其 转发 到 目标 服务 器 ， 并 将 结果 返回 给 客户 端 ， 而 这 些 对 客户 端 来 
说 都 是 透明 的 。 在 这 种 情况 下 ， 反 向 代理 也 用 作 负 载 平衡 器 ， 将 请 求 分 发 到 应 用 程 
序 的 实例 中 。 


有 关 反 向 代理 和 和 转发 代理 之 间 差 异 的 明确 说 明 ， 可 以 参阅 Apache HTTP 服 务 器 
文档 


下 图 显示 了 一 个 典型 的 多 进程 多 机 配置 ， 其 中 一 个 反 向 代理 充当 负载 均衡 器 的 前 
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对 于 Node.js 应 用 程序 ， 选 择 此 方法 取代 cluster 模块 的 原因 有 很 多 : 


反 向 代理 可 以 将 负载 分 布 到 多 个 机 器 上 ， 而 不 仅仅 是 几 个 进程 ; 

市 场 上 最 流行 的 反 向 代理 支持 粘性 负载 均衡 ; 

反 向 代理 可 以 将 请 求 路 由 到 任何 可 用 的 服务 器 ， 而 不 管 其 编程 语言 或 平台 

我 们 可 以 选择 更 强大 的 负载 均衡 算法 ; 

许多 反 向 代理 还 提供 其 他 服务 ， 例 如 URL 重 写 ， 缓 存 ，SSL 终 止 点 ， 甚 至 可 以 
使 用 的 完全 成 熟 的 Web 服 务 器 的 功能 ， 例 如 ， 为 静态 文件 提供 服务 。 


也 就 是 说 ， 如 果 需 要 ， cluster 模块 也 可 以 很 容易 地 与 反 向 代理 结合 使 用 ; 例 
如 ， 使 用 cluster 在 单个 机 器 内 部 垂直 缩放 ， 然 后 使 用 反 向 代理 在 不 同 节 点 之 间 
水 平 缩放 。 


模式 : 使 用 反 向 代理 来 平衡 在 不 同 端口 或 机 器 上 运行 的 多 个 实例 之 间 的 应 用 程 
序 负载 。 


对 于 反 向 代理 实现 负载 均衡 器 ， 我 们 有 很 多 选择 ; 一 些 流行 的 解决 方案 如 下 : 
e。 Nginx : 这 是 一 个 基于 非 阻塞 I/0 模型 的 Web 服务 器 ， 反 向 代理 和 负载 均衡 


e HAProxy : 这 是 一 个 用 于 TCP/HTTP 流量 的 快速 负载 均衡 器 

e 基于 Node.js os 有 很 多 解决 方案 可 以 直接 在 Node.js s 中 实现 反 向 代 
理 和 负载 均衡 器 能 有 优点 和 缺点 ， 我 们 将 在 后 面 看 到 。 

. 基于 云 的 代理 服务 器 ss ， 利用 负载 均衡 器 作为 服务 并 不 罕见 。 这 
可 能 很 方便 ， 因 为 它 基 本 不 需要 维护 ， 通 常 具 有 高 度 的 可 扩展 性 ， 有 时 它 可 以 
支持 动态 配置 以 实现 按 需 扩 展 。 


在 本 章 接 下 来 的 几 节 中 ， 我 们 将 分 析 一 个 使 用 Nginx 的 配置 示例 ， 接 下 来 我 们 还 
将 使 用 Node.js 来 构建 我 们 自己 的 负载 均衡 器 。 


使 用 Nginx 进行 负载 平衡 


为 0 ， 我 们 现在 将 构建 基于 Nginx 的 可 扩展 架构 ， 但 首 
先 我 们 需要 安装 它 。 我 们 可 以 按照 http://nginx.org/en/docs/install.html 上 的 说 明 来 
做 到 这 一 点 。 


在 最 新 的 Ubuntu 系统 上 ， 您 可 以 使 用 以 下 命令 快速 安装 Nginx 


sudo apt-get install nginx 


在 Mac 0SX 上 ， 您 可 以 使 用 brew : 


brew install nginx 


由 于 我 们 不 打算 使 用 cluster 来 启动 服务 器 的 多 个 实例 ， 因 此 我 们 需要 稍微 修改 
应 用 程序 的 代码 ， 以 便 我 们 可 以 使 用 命令 行 参 数 指 定 侦 听 端口 。 这 将 允许 我 们 在 不 
同 的 端口 上 启动 多 个 实例 。 我 们 再 来 考虑 我 们 的 示例 应 用 程序 ( app.js ) 的 主要 
模块 : 


const http = require('http'); 
const pid = process.pid; 


http.createServer((req, res) => { 
for(Lee a Te7 1 > oO TI 从 
console.log( Handling request from ${pid}. ); 
res.end( Hello from ${pid}\n. ); 
}).listen(process.env.PORT || process.argv[2] || 8080, () => { 
console.log( Started $Lpid} ); 
}); 


另 一 个 不 使 用 cluster 的 原因 是 其 在 发 生 崩 溃 时 无 法 自动 重启 。 幸 运 的 是 ， 这 很 
ee ER ， 该 管理 程序 监视 我 们 的 应 用 程序 并 在 必要 时 
重新 启动 的 外 部 进程 。 可 能 的 选择 如 下 


e。 基于 Node.js 的 supervisors ， 如 forever 或 pm2 
e@ 基于 0S 的 supervisors ， 例 如 upstart，systemd 或 者 runit 
e 更 高 级 的 supervisors 解决 方案 ， 如 monit 或 supervisor 。 


对 于 这 个 例子 ， 我 们 将 使 用 forever ， 这 是 我 们 使 用 最 简单 ， 最 直接 的 。 我 们 可 
以 通过 运行 以 下 命令 来 全 局 安装 它 : 


npm install forever -gd 


下 一 步 是 启动 我 们 的 应 用 程序 的 四 个 实例 ， 全 部 在 不 同 的 端口 上 ， 使 
用 OE 


forever start app.js 8081 
forever start app.js 8082 
forever start app.js 8083 
forever start app.js 8084 


我 们 可 以 使 用 以 下 命令 检查 已 启动 进程 的 列表 : 


forever list 


现在 需要 将 Nginx 服务 器 配置 为 负载 平衡 器 。 


首先 ， 我 们 需要 根据 你 的 系统 来 确定 nginx.conf 文件 的 位 置 。 一 般 是 
在 /usr/local/nginx/conf ， /etc/nginx ， 或 者 /usr/local/etc/nginx 。 


接 下 来 ， 我 们 打开 nginx.conf 文件 并 应 用 以 下 配置 是 获得 实现 负载 均衡 所 
需 的 最 基础 的 配置 : 


http { 
# 


upstream nodejs_ design_ patterns app { 
server 127.0.0.1:8081,; 
server 127.0.0.1:8082,; 
server 127.0.0.1:8083,; 
server 127.0.0.1:8084,; 


} 
| 
server { 

listen 80 

location / { 

proxy_pass http://nodejs_design_ patterns_app; 

} 
#0 | 


} 


对 于 配置 文件 ， 基 本 不 用 解释 。 在 upstream nodejs_design patterns_app 部 

分 ， 我 们 定义 了 用 于 处 理 网 络 请 求 的 后 端 服务 器 列表 ， 然 后 在 server 部 分 中 指定 
了 proxy_pass 指令 ， 这 本 质 上 告诉 Nginx 将 任何 请 求 转 发 给 我 们 之 前 定义 的 服 
务 器 组 ( nodejs_design_patterns_app ) 。 就 是 这 样 ， 现 在 我 们 只 需要 用 以 下 
命令 重新 加 载 Nginx 配置 : 


nginx -s reload 


我 们 的 系统 现在 应 该 已 经 启动 并 且 正 在 运行 ， 已 经 准备 好 接受 请 求 并 且 平 
衡 Node.js 应 用 程序 的 四 个 实例 的 流量 。 只 需 在 您 的 浏览 器 打开 地 址 
http:Wlocalhost， 查 看 我 们 的 `Nginx 服务 器 如 何平 衡 流 量 。 


使 用 服务 注册 表 


现代 基于 云 的 基础 架构 的 一 个 重要 优势 是 能 够 基于 当前 的 运行 情况 ， 预 测 的 流量 动 
态 调 整 应 用 的 容量 ; 这 也 被 称 为 动态 缩放 。 如 果实 施 得 当 ， 这 种 做 法 可 以 极 大 地 降 
低 IT 基础 架构 的 成 本 ， 同 时 保持 应 用 程序 的 高 可 用 性 和 响应 能 力 。 


这 个 想法 很 简单 : 如 果 我 们 的 应 用 程序 正在 经 历 由 流量 高 峰 造成 的 性 能 下 降 ， 我 们 
会 自动 产生 新 的 服务 器 来 应 对 增加 的 负载 。 我 们 也 可 以 决定 在 某 些 时 间 关 闭 一 些 服 
务 器 ， 例 如 晚上 ， 当 我 们 知道 流量 将 会 减少 时 ， 在 早上 再 次 重新 启动 它们 。 该 机 制 
求 负载 均衡 器 随时 了 解 当 前 的 网 络 拓扑 结构 ， 随 时 了 解 哪 台 服 务 器 处 于 运行 状 


过 


汶 奖 


解决 此 问题 的 常见 模式 是 使 用 称 为 服务 注册 中 心 的 中 央 存 储 库 ， 该 中 心 存储 库 跟踪 
正在 运行 的 服务 器 及 其 提供 的 服务 。 下 图 显示 了 前 端 具有 负载 平衡 器 的 多 服务 架 
构 ， 使 用 服务 注册 表 进 行动 态 配置 : 





Service R egistr y example.com 


apil.example.com:8080 
apil.example.com:8081 | Load 
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二 是 pe 
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Register their services 




















上 述 架 构 假 定 存在 两 个 服务 API 和 WebApp 。 负 载 均 衡器 将 到 达 / api 节点 的 
请 求 分 发 给 实现 API 服务 的 所 有 服务 器 ， 而 其 余 请 求 分 布 在 实现 WebApp 服 务 的 
服务 器 上 。 负载 均衡 器 获取 使 用 服务 注册 表 的 服务 器 列表 。 


为 了 使 其 完全 自动 化 运行 ， 每 个 应 用 程序 实例 在 联机 时 必须 自己 注册 到 服务 注册 
表 ， 并 在 其 停止 时 取消 注册 。 通 过 这 种 方式 ， 负 载 均 衡器 可 以 始终 拥有 最 新 的 服务 
器 视图 和 网 络 上 可 用 的 服务 。 
模式 (服务 注册 表 ) : 使 用 中 央 资 源 库 来 存储 和 管理 服务 器 的 最 新 视图 以 及 系 
统 中 可 用 的 服务 。 
这 种 模式 不 仅 可 以 应 用 于 负载 平衡 ， 还 可 以 更 普遍 地 作为 从 提供 服务 的 服务 器 分 离 
服务 类 型 的 一 种 方式 。 我 们 可 以 将 其 视 为 适用 于 网 络 服务 的 服务 定位 器 的 设计 模 
式 。 


使 用 http-proxy 和 consul 实现 动态 负载 均衡 器 


为 了 实现 粘性 负载 均衡 ， 我 们 可 以 使 用 反 向 代理 ， 例 如 Nginx 或 HAProxy ;我 
们 所 需要 做 的 就 是 使 用 自动 服务 更 新 其 配置 ， 然 后 强制 负载 均衡 器 选择 更 改 。 对 
于 Nginx ， 可 以 使 用 以 下 命令 行 完 成 : 


nginx -s reload 


使 用 基于 云 的 解决 方案 可 以 获得 相同 的 结果 ， 但 我 们 有 第 三 种 更 熟悉 的 替代 方案 ， 
可 以 使 用 我 们 最 喜欢 的 平台 。 


我 们 都 知道 Node ,js 是 构建 任何 网 络 应 用 程序 的 好 工具 ; 正如 我 们 所 说 ， 这 正 是 
其 主要 设计 目标 之 一 。 那 么 ， 为 什么 不 建立 一 个 只 使 用 Node.js 的 负载 均衡 器 

呢 ? 这 将 给 我 们 更 多 的 自由 ， 并 允许 我 们 直接 在 我 们 的 定制 负载 平衡 器 中 实现 任何 
类 型 的 模式 或 算法 ， 和 包括 我 们 现在 要 探索 的 负载 平衡 器 ， 使 用 服务 注册 表 的 动态 负 
载 平衡 。 在 这 个 例子 中 ， 我 们 将 使 用 Consul 作 为 服务 注册 表 。 

在 这 个 例子 中 ， 我 们 想 要 复制 我 们 在 上 一 节 中 看 到 的 多 服务 体系 结构 ， 为 此 ， 我 们 
将 主要 使 用 三 个 npm 包 : 


e。 http-proxy : 这 是 一 个 库 ， 用 于 简化 Node.js 中 代理 和 负载 均衡 器 的 创建 
e portfinder : 这 是 一 个 允许 发 现 系统 中 的 自由 端口 的 库 
e Consul : 这 是 一 个 图 书馆 ， 人 允许 服务 在 consul 登记 


让 我 们 开始 实施 我 们 的 服务 。 它们 是 简单 的 HTTP 服务 器 ， 就 像 我 们 迄今 用 来 测 
试 cluster 和 Nginx 的 HTTP 服务 器 一 样 ， 但 是 这 次 我 们 希望 每 个 服务 器 都 在 
服务 注册 表 启 动 的 时 候 注 册 自 己 。 


让 我 们 看 看 这 看 起 来 如 何 (文件 app.js ) 


const http = require( 'http ' ) ， 

const pid = process.pid; 

const consul = require('consul')(); 

const portfinder = require('portfinder'); 
const serviceType = process.argv[2]; 


portfinder.getPort((err, port) => { 


const ServiceId = serviceType+port; 
consul.agent. service.register({ 

id: ServiceId ， 

name: serviceType, 

address: 'localhost', 


port: port, 
tags: [serviceTypel] 
}, () => { 


const unregisterService = (err) => { 
consul.agent.service.deregister(serviceId, () => { 
process.exit(err ? 1 : 0); 


}); 


jy 


process.on('exit', unregisterService); 
process.on('SIGINT', unregisterService); 
process.on('uncaughtException', unregisterService); 


http.createServer((req, res) => { 

for (let i = 1ie7; i > 0; i--) 人 

console.log( Handling request from ${pid} ); 

res.end( ${serviceType} response from ${pid}\n. ); 
}).listen(port, () => { 

console.log( Started ${serviceType} (${pid}) on port ${por 


在 前 面 的 代码 中 ， 有 一 些 部 分 值得 我 们 关注 : 


首先 ， 我 们 使 用 portfinder.getPort 来 发 现 系 统 中 的 一 个 空闲 端口 〈 默 认 
情况 下 ， portfinder 从 8000 端口 开始 搜索 ) 。 

接 下 来 ， 我 们 使 用 Consul 库 在 注册 表 中 注册 一 项 新 服务 。 服 务 定 义 需 要 几 个 
属性 : id (服务 的 唯一 名 称 ) ， name (标识 服务 的 通用 名 

称 ) ，address 和 port (用 于 标识 如 何 访 问 服务 ) ， tags 
数组 用 于 过 滤 和 分 组 服务 ) 。 我 们 使 用 serviceType (我 们 将 其 作为 命令 # 
参数 ) 来 指定 服务 名 称 并 添加 标签 。 这 将 允许 我 们 识别 集群 中 可 用 的 相同 类 型 
的 所 有 服务 。 

此 时 我 们 定义 了 一 个 名 为 unregisterService 的 函数 ， 它 允许 我 们 在 集群 中 
定义 相同 类 型 的 服务 。 

我 们 使 用 unregisterService 作为 清理 函数 ， 以 便 程序 运行 时 关闭 (无 论 是 


人 为 关闭 还 是 意外 关闭 ) ， 从 取消 注册 。 
e 最 后 ， 我 们 为 portfinder 发 现 的 端口 上 的 服务 启动 HTTP 服务 器 。 


现在 是 实施 负载 均衡 器 的 时 候 了 。 我 们 通过 创建 一 个 名 为 loadBalancer .js 的 新 
模块 来 实现 这 一 点 。 首 先 ， 我 们 需要 定义 一 个 路 由 表 来 将 URL 路 径 映 射 到 服务 : 


const routing = [{ 
path: '/api', 
service: 'api-service', 


index: 0 
}, i 
path: '/'", 
service: 'webapp-service', 
index: 0 
}]; 


routing 数组 中 的 每 个 项 目 都 包含 用 于 处 理 到 达 映 射 路 径 的 请 求 的 服 
务 。 index 属性 将 用 于 循环 给 定 服务 的 请 求 。 


让 我 们 通过 实现 loadbalancer .js 的 第 二 部 分 来 看 看 它 是 如 何 工作 的 : 


const proxy = httpProxy.createPproxyServer({}); 
http.createServer((req, res) => { 
let route; 
routing.some(entry => { 
route = entry; 
//Starts with the route path? 
return req.url.indexOf(route.path) === 0; 


}); 


consul.agent.service.list((err, services) => { 
const servers = []; 
Object,.keys(services).filter(id => { 
If (services[id].Tags.indexOof(route.service) > -1) { 
servers.push( http://${services[id].Address}:${services[ 
Te Pornmty 关 


} 
}); 
If (!servers.length) { 


res.writeHead(502); 
return res.end('Bad gateway' ); 


} 


route.index = (route.index + 1) % servers.length,; 
proxy.web(req, res, {target: servers[route.index|}); 


}); 
}).listen(8080, () => console.log('Load balancer started on port 
8080 ' )); 


这 就 是 我 们 如 何 实 现 基于 Node.js 的 负载 均衡 器 : 


1. 首先 ， 我 们 需要 consul ， 以 便 我 们 可 以 访问 注册 表 。 接 下 来 ， 我 们 实例 化 一 
个 http-proxy 对 象 并 尼 动 一 个 普通 的 web 服务 器 。 

2. 在 服务 器 的 请 求 处 理 程序 中 ， 我 们 所 做 的 第 一 件 事 是 将 URL 与 我 们 的 路 由 表 
进行 匹配 。 结果 将 是 一 个 包含 服务 名 称 的 描述 符 。 

3. 我 们 从 consul 获得 实施 所 需 服 务 的 服务 器 清单 。 如 果 这 个 列表 是 空 的 ， 我 们 
会 向 客户 端 返回 一 个 错误 。 我 们 使 用 Tag 属 性 来 过 滤 所 有 可 用 的 服务 ， 并 查找 
实现 当前 服务 类 型 的 服务 器 的 地 址 。 最 后 ， 我 们 可 以 将 请 求 路 由 到 它 的 目的 
地 。 我 们 根据 循环 法 更 新 route.index 以 指向 列表 中 的 下 一 个 服务 器 。 然 后 ， 我 
们 使 用 索引 从 列表 中 选择 一 个 服务 器 ， 并 将 它 与 请 求 ( req ) 和 响应 

( res ) 对 象 一 起 传递 给 proxy.web() 。 这 将 简单 地 将 请 求 转 发 到 我 们 选 
择 的 服务 器 。 
现在 很 清楚 ， 仅 使 用 Node .js 和 服务 注册 表 来 实现 负载 均衡 器 是 多 么 简单 ， 以 及 
我 们 可 以 通过 这 种 方式 实现 多 大 的 灵活 性 。 现 在 ， 我 们 应 该 准备 好 了 ， 但 首先 ， 请 
通过 以 下 官方 文档 安装 Consul 服务 器 : https://www.consul.io/intro/getting- 
started/install.html 。 


这 使 我 们 能 够 通过 这 个 简单 的 命令 行 在 我 们 的 开发 机 器 中 启动 consul 服务 注册 
表 : 

consul agent -dev 
现在 我 们 准备 启动 负载 平衡 器 : 


node loadBalancer 


现在 ， 如 果 我 们 尝试 访问 负载 平衡 器 公开 的 某 些 服务 ， 我 们 会 注意 到 它 返 回 一 
个 HTTP 502 错误 ， 因 为 我 们 还 没有 启动 任何 服务 器 。 亲 自 尝试 一 下 : 


curl] localhost:8080/api 


上 述 命令 应 返回 以 下 输出 : 


Bad Gateway 


如 果 我 们 产生 一 些 服务 实例 ， 情 况 将 会 发 生变 化 ， 例 如 ， 两 个 api-service 和 一 
个 webapp-service 


forever start app.js api-service 
forever start app.js api-service 
forever start app.js webapp-service 


现在 负载 平衡 器 应 该 自动 查看 新 服务 器 并 开始 在 它们 之 间 分 配 请 求 。 让 我 们 尝试 使 
用 以 下 命令 


curl localhost:8080/api 


上 述 命令 现在 应 该 返回 : 


api-service response from 6972 


通过 再 次 运行 它 ， 我 们 现在 应 该 从 另 一 台 服 务 器 收 到 一 条 消息 ， 确 认 请 求 正 在 不 同 
服务 器 之 问 负载 均衡 : 


api-service response from 6979 


< (> 口 localhost:8080/api 
;应 用 GG Google a 党 百度 一 下 ， 你 就 知道 团 首 页 - 知 乎 M Gmail -ee 


api—service response from 6972 


这 种 模式 的 优点 是 显而易见 的 。 我 们 现在 可 以 动态 ， ， 按 需 或 基于 时 间 表 调整 我 们 的 
基础 架构 ， 我 们 的 负载 均衡 器 将 自动 根据 新 配置 进行 调整 ， 无 需 任 何 额外 的 工作 | 


点 对 点 负载 平衡 


当 我 们 想 要 将 一 个 复杂 的 内 部 网 络 架 构 暴 露 给 公共 网 络 (如 Internet ) 时 ， 使 用 
反 向 代理 几乎 是 必需 的 。 它 有 助 于 隐藏 复杂 性 ， 提 供 外 部 应 用 程序 可 轻松 使 用 和 依 
赖 的 单一 访问 点 。 但 是 ， 如 果 我 们 需要 扩展 仅 供 内 部 使 用 的 服务 ， 则 我 们 可 以 拥有 
更 多 的 灵活 性 和 控制 力 。 


假设 有 一 个 服务 A 依靠 服务 B 来 实现 其 功能 。 服 务 B 在 多 台 机 器 上 进行 缩放 ， 并 且 只 
ee 
服务 B， 反 向 代理 会 将 流量 分 发 到 实施 服务 B 的 所 有 服务 器 。 


但 是 ， 还 有 一 个 选择 。 我 们 可 以 从 图 中 删除 反 向 代理 ， 并 直接 从 客户 端 (服务 A) 
分 发 请 求 ， 该 客户 端 现在 直接 负责 跨 服 务 B 的 各 种 实例 负载 平衡 其 连接 。 只 有 服务 
器 A 知 道 详细 信息 关于 暴露 服务 B 的 服务 器 ， 并 且 在 内 部 网 络 中 ， 这 通常 是 已 知 信 
息 。 通 过 这 种 方法 ， 我 们 基本 上 实现 了 对 等 负载 均衡 。 


下 图 比较 了 我 们 刚刚 描述 的 两 种 替代 方案 : 


Centralized load balancing Peer-to-peer load balancing 
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这 是 一 种 非常 简单 而 有 效 的 村 毋 式 ， 可 以 实现 丨 正 的 分 布 式 通信 ， 而 不 会 出 现 瓶 颈 或 
单 点 故障 。 除 此 之 外 ， 它 还 执行 以 下 操作 : 


e@e 通过 删除 网 络 节 点 来 降低 基础 广 0 

e@ 更 快 的 通信 ， 因 为 消息 将 通过 更 少 的 节 

e。 规模 更 好 ， 因 为 性 能 不 受 负 
另 一 方面 ， 通 过 删除 反 向 代理 ， 我 们 实际 上 其 露 了 其 底层 基础 架构 的 复杂 性 。 此 
外 ， 通 过 实施 负载 平衡 算法 ， 每 个 客户 端 都 必须 变 得 更 加 智能 ， 并 且 可 能 也 是 保持 
其 基础 架构 最 新 的 一 种 方式 。 


点 对 点 负载 均衡 是 GMQ 库 中 广泛 使 用 的 一 种 模式 。 


实现 可 以 跨 多 台 服 务 器 平衡 请 求 的 HTTP 客 户 端 


Messaging and integration Patterns 


如 果 应 用 程序 涉及 到 分 布 式 系统 。 在 前 一 章 中 ， 我 们 学 习 了 如 何如 何 通过 使 用 一 些 
简单 的 架构 模式 来 集成 大 量 的 服务 ， 将 其 分 害 到 多 个 机 器 上 。 为 了 使 其 正常 工作 ， 
所 有 机 器 都 必须 以 某 种 方式 进行 交互 ， 因 此 必须 整合 它们 的 交互 方式 。 


有 两 种 主要 的 技术 来 集成 分 布 式 应 用 程序 : 一 种 是 使 用 共享 存储 ， 另 一 种 是 使 用 消 
息 在 系统 节点 上 传播 数据 ， 这 里 涉及 事件 和 命令 模式 。 后 者 在 扩展 分 布 式 系统 时 确 
实 有 用 ， 这 也 是 后 一 种 方式 被 广泛 运用 的 原因 。 


消息 被 用 于 软件 系统 的 每 一 层 。 我 们 交换 消息 以 在 互联 网 上 进行 通信 ， 我 们 可 以 使 
用 消息 将 信息 发 送 到 使 用 管道 的 其 他 进程 ， 我 们 可 以 使 用 应 用 程序 中 的 消息 作为 直 
接 函 数 调用 (命令 模式 ) 的 替代 方法 ， 甚 至 也 可 以 使 用 消息 与 硬件 直接 交互 。 用 作 
在 组 件 和 系统 之 间 交 换 信息 的 方式 的 任何 离散 和 结构 化 数据 都 可 以 看 作 是 一 条 消 
息 。 但 是 ， 在 处 理 分 布 式 体系 结构 时 ， 消 息 传递 系统 用 于 描述 旨 在 促进 网 络 信息 交 
换 的 特定 类 别 的 解决 方案 ， 模 式 或 者 说 体系 结构 。 


正如 我 们 将 看 到 的 ， 有 几 种 特征 表征 这 些 类 型 的 系统 。 我 们 可 以 选择 使 用 代理 模式 
或 点 对 点 结构 ， 我 们 可 以 使 用 请 求 /回复 模式 或 单 向 通信 ， 也 可 以 使 用 队列 来 更 可 靠 
地 传递 消息 ; 消息 整合 模式 的 使 用 范围 非常 广泛 。 本 章 从 Node.js 及 其 生态 系统 
的 角度 探讨 了 这 些 众 所 周知 的 模式 中 最 重要 的 模式 。 

总 而 言 之 ， 在 本 章 中 ， 我 们 将 学 习 以 下 主题 : 


消息 传递 系统 的 基本 原理 


@ 

@ 发 布 /订阅 模式 

e@ 管道 和 任务 分 配 模式 
@ 请 求 /回复 模式 


消息 传递 系统 的 基本 原理 


在 谈论 消息 和 消息 传递 系统 时 ， 需 要 考虑 四 个 基本 要 素 ， 如 下 : 


。 通信 的 方向 ， 可 以 是 单 向 的 ， 也 可 以 是 双向 的 

。 消 息 的 目的 地 ， 这 也 决定 了 消息 的 内 容 

。 消 息 的 时 间 ， 这 决定 了 消息 是 否 可 以 被 立即 发 送 和 接收 (同步) ， 也 可 以 在 将 
来 接收 (异步 ) 

。 信 息 的 传递 方式 ， 直 接 传递 或 通过 一 个 中 介 者 进行 传递 


在 接 下 来 的 部 分 中 ， 我 们 将 把 这 些 方面 正式 化 ， 以 便 为 我 们 稍 后 的 讨论 奠定 基础 。 
单 向 通信 和 请 求 /回复 模式 


消息 传递 系统 中 最 基本 的 方面 是 通信 的 传递 方向 ， 这 个 方向 通常 也 表示 了 这 条 消息 
的 含义 。 


最 简单 的 消息 传递 模式 是 消息 从 源 到 目的 地 单 向 推送 ; 这 是 一 个 简单 的 情况 ， 并 不 
需要 太 多 解释 : 


Initiator 





单 向 通信 的 一 个 典型 例子 是 使 用 WebSockets 向 连接 的 浏览 器 或 Web 服务 器 发 送 
消息 的 电子 邮件 ， 或 将 任务 分 配给 一 组 工作 人 员 的 系统 。 


然而 ， 请 求 /回复 模式 比 单 向 通信 更 受 欢 迎 ; 一 个 典型 的 例子 就 是 调用 Web 服 务 。 下 
图 显示 了 这 个 简单 且 众所周知 的 场景 : 


Initiator 
(1) Request 


(2) Reply 





请 求 /回复 模式 可 能 看 起 来 是 一 个 简单 的 模式 ; 但 是 ， 当 通信 异步 或 涉及 多 个 节点 
时 ， 我 们 将 看 到 它 变 得 更 加 复杂 。 看 看 下 图 中 的 例子 : 














通过 上 图 所 示 的 设置 ， 我 们 可 以 理解 一 些 请 求 /回复 模式 的 复杂 性 。 如 果 我 们 考虑 任 
何 两 个 节点 之 间 的 通信 方向 ， 我 们 可 以 肯定 地 说 它 是 单 向 的 。 但 是 ， 从 全 局 角度 来 
看 ， 发 起 者 发 送 一 个 请 求 ， 然 后 接收 一 个 关联 的 响应 ， 即 使 来 自 不 同 的 节点 。 在 这 
些 情况 下 ， 申 正 区 分 请 求 /响应 模式 与 单 向 消息 传递 模式 的 区 别 在 于 请 求 和 响应 之 间 
的 关系 ， 它 保存 在 发 起 者 中 。 回 复 通 常 在 请 求 的 相同 上 下 文中 处 理 。 


消息 类 型 


一 条 消息 本 质 上 是 连接 不 同 软件 组 件 的 一 种 方式 ， ee 因 有 很 多 : 这 可 能 是 
因为 我 们 想 要 获得 由 另 一 个 系统 或 组 件 持 有 的 茶 些 信 息 ， 或 远程 执行 菜 项 操作 ， 或 
向 某 个 组 件 通知 某 操 作 刚 刚 发 生 。 消 息 门 容 也 会 因 通 ee 因而 开 。 一 般 来 说 ， 我 们 
可 以 根据 消息 的 目的 来 确定 三 种 类 型 的 消息 


。 命令 消息 
。 事件 消息 
@ 文档 消息 


命令 消息 


命令 消息 对 我 们 来 说 已 经 很 熟悉 ; 它 本 质 上 是 一 个 序列 化 的 command 对 象 ， 正 如 
我 们 在 Chapter 6-Design Patterns 中 所 描述 的 那样 。 这 种 类 型 0 息 的 目的 
是 触发 recevier 上 的 动作 或 任务 的 执行 。 为 了 做 到 这 一 点 ， 我 们 的 信息 必须 包含 
运行 任务 的 基本 信息 ， he Da 。 命令 消息 可 
用 于 实现 远程 过 程 调用 ( RPC ) :; 系统 ! 分 布 式 计算 或 更 简单 地 用 于 请 求 某 些 数 
据 。 RESTful HTTP 调用 是 命令 消息 的 简单 示例 ; 每 个 HTTP 请 求 都 有 一 个 特定 的 
含义 ， 并 与 一 个 精确 的 操作 相关 联 : 例如 GET 表示 检索 资源 ; POST 表示 创建 一 
个 新 的 资源 ; PUT 表示 更 新 一 个 资源 ; DELETE 表示 删除 一 个 资源 。 


事件 消息 


事件 消息 用 于 通知 另 一 个 组 件 发 生 了 某 些 事件 。 它 通 包含 事件 的 类 型 ， 有 时 还 包 

含 一 些 细节 ， 如 context ， subject 或 actor Web 开发 中 ， 当 使 用 长 轮 
询 或 WebSocket 接收 来 自 服务 器 的 刚 刚 发生 的 事件 的 通知 时 ， 我 们 在 浏览 器 中 使 
用 事件 消息 息 ， 例 如 数据 的 变化 导致 一 个 时 间 的 发 生 。 事 件 的 使 用 是 分 布 式 应 用 程序 
中 非常 重要 的 机 制 ， 因 为 它 使 我 们 能 够 将 系统 的 所 有 节点 保持 在 同一 状态 上 。 


文档 消息 


os 文档 消息 和 命 i 

含 数据 ) 的 主要 特点 是 该 消息 不 包含 告诉 接收 方 如 何 处 理 数 据 的 任何 入 。 另 一 
与 事件 消息 的 主要 区 别 主 要 是 缺少 与 特定 事件 的 关联 。 ， 对 命 令 消 息 的 
回复 是 文档 消息 ， 因 为 它们 通常 只 包含 请 求 的 数据 或 操作 的 结 


异步 消息 传递 和 队列 

作为 Node.js 开发 人 员 ， 我 们 应 该 已 经 知道 执行 异步 操作 的 优势 。 对 于 消息 和 通 
信 而 言 ， 这 是 一 回 事 。 

我 们 可 以 将 同步 通信 与 电话 进行 比较 : 两 个 对 等 设备 必须 同时 连接 到 同一 个 通道 ， 


并 且 它 们 应 该 实时 交换 消息 。 通 常情 况 下 ， 如 果 我 们 想 打 电话 给 其 他 人 ， 我 们 可 能 
需要 另 一 部 手机 或 关闭 正在 进行 的 通信 以 便 开始 新 的 通话 。 


异步 通信 类 似 于 SMS : 它 不 要 求 收 件 人 在 我 们 发 送 邮件 时 连接 到 网 络 ， 我 们 可 能 
会 立即 收 到 回复 或 者 收 到 未 知 延 迟 后 的 回复 ， 或 者 我 们 可 能 根本 没有 收 到 回复 。 我 
们 可 能 会 将 多 个 SMS 一 个 接 一 个 地 发 送 给 多 个 收 件 人 ， 并 以 任何 顺序 收 到 他 们 的 
回复 (如 果 有 ) 。 简 而 言 之 ， 我 们 使 用 更 少 的 资源 可 以 获得 更 好 的 并 行 性 。 


异步 通信 的 另 一 个 重要 优点 是 可 以 将 消息 存储 并 尽快 或 稍 后 发 送 。 当 接收 器 太 忙 而 
无 法 处 理 新 消息 或 我 们 希望 保证 传送 时 ， 这 可 能 很 有 用 。 在 消息 传递 系统 中 ， 这 可 
以 使 用 消息 队列 实现 ， 该 消息 队列 调解 发 送 者 和 接收 者 之 间 的 通信 ， 在 将 消息 传递 
到 其 目标 之 前 存储 任何 消息 ， 如 下 图 所 示 : 


Sender Message queue Receiver 





如 果 出 于 任何 原因 接收 机 崩溃 ， 与 网 络 断 开 连 接 或 速度 变 慢 ， 则 消息 会 在 队列 中 累 
积 并 在 接收 机 联机 并 且 完 全 正常 工作 时 才 可 以 让 发 送 者 继续 请 求 并 调度 。 队 列 可 以 
位 于 发 送 者 中 ， 也 可 以 在 发 送 者 和 接收 者 之 间 分 开 ， 或 者 存储 在 充当 通信 中 间 件 的 
专用 外 部 系统 中 。 


点 对 点 或 基于 代理 的 消息 传递 
消息 可 以 以 对 等 方式 直接 传送 给 接收 方 ， 也 可 以 通过 称 为 消息 代理 的 集中 式 中 介 系 


统 传送 。 代 理 的 主要 作用 是 将 发 件 人 的 信息 接收 者 分 离 出 来 。 下 图 显示 了 两 种 方法 
之 间 的 架构 差异 : 


Peer-to-peer 


Messape 
Broker 





在 对 等 体系 结构 中 ， 每 个 节点 都 直接 负责 将 消息 传递 给 接收 方 。 这 意味 着 节点 必须 
知道 接收 方 的 地 址 和 端口 ， 他 们 必须 就 协议 和 消息 格式 达成 一 致 。 代 理 从 等 式 中 消 
除了 这 些 复杂 性 : 每 个 节点 都 可 以 完全 独立 ， 并 且 可 以 与 未 定义 数量 的 对 等 进行 通 
信 ， 而 无 需 直接 了 解 其 详细 信息 。 代理 还 可 以 充当 不 同 通信 协议 之 间 的 桥梁 ， 例 


如 ，RabbitMQ broker 支 持 高 级 消息 队列 协议 ( AMQP ) ， 消 息 队 列 遂 测 传输 
( MQTT ) 和 简单 / 流 式 文本 定向 消息 协议 ( STOMP ) ， 支 持 不 同 消息 协议 的 多 
个 应 用 程序 进行 交互 。 


MQTT 是 一 种 轻 量 级 消息 传递 协议 ， 专 为 机 器 问 通信 ( 物 联网 ) 设计 。AMQP 
是 一 个 更 复杂 的 协议 ， 旨 在 成 为 专 有 消息 中 间 件 的 开源 替代 品 。STOMP 是 一 
个 轻 量 级 的 基于 文本 的 协议 ， 来 自 HTTP school of design 。 这 三 个 都 是 
应 用 层 协 议 ， 并 且 基 于 TCP / IP 。 


除了 解 耦 和 互 操作 性 外 ， 代 理 还 可 以 提供 更 多 高 级 功能 ， 如 持久 队列 ， 路 由 ， 消 息 
转换 和 监控 ， 而 不 提 及 许多 代理 支持 的 广泛 的 消息 传递 模式 。 当 然 ， 没 有 任何 东西 
可 以 阻止 我 们 使 用 对 等 体系 结构 实现 所 有 这 些 功能 ， 但 不 幸 的 是 ， 还 需要 付出 更 多 
努力 。 尽 管 如 此 ， 避 免 使 用 代理 的 原因 可 能 有 所 不 同 : 


e@ 代理 可 能 发 生 故 障 
e@ 代理 必须 扩展 ， 而 在 对 等 体系 结构 中 ， 我 们 只 需要 扩展 单个 节点 
@ 在 没有 代理 的 情况 下 交换 消息 可 以 大 大 减少 传输 的 延迟 


如 果 我 们 想 要 实现 一 个 对 等 消息 传递 系统 ， 我 们 也 拥有 更 多 的 灵活 性 和 能 力 ， 因 为 
我 们 不 受 任何 特定 技术 ， 协 议 或 体系 结构 的 约束 。 GMQ 是 一 个 构建 消息 传递 系统 
的 库 ， 其 流行 性 很 好 地 证 明了 我 们 可 以 通过 构建 定制 的 对 等 或 混合 体系 结构 获得 灵 
活性 。 


发 布 / 订 阅 模 式 


发 布 /订阅 (通常 缩写 为 pub / sub ) 可 能 是 最 着 名 的 单 向 消息 传递 模式 。 我 们 应 
该 已 经 熟悉 它 了 ， 因 为 它 不 过 是 一 个 分 布 式 的 观察 者 模式 。 就 观察 者 而 言 ， 我 们 有 
一 组 用 户 注 册 他 们 对 接收 特定 类 别 的 消息 的 兴趣 。 另 一 方面 ， 发 布 者 产生 分 布 在 所 
有 相关 用 户 中 的 消息 。 下 图 显示 了 发 布 /订阅 模式 的 两 个 主要 变 体 ， 第 一 个 是 点 对 
点 ， 第 二 个 使 用 代理 来 调解 通信 : 





让 pub /sub 如 此 特别 的 是 ， 发 布 者 不 知道 邮件 的 收 件 人 是 谁 。 正 如 我 们 所 说 的 那 
样 ， 用 户 必须 注册 它 的 监听 器 才能 收 到 特定 的 消息 ， 从 而 允许 发 布 者 与 未 知 数量 的 
接收 者 一 起 工作 。 换 和 句 话说 ， pub / sub 模式 的 两 边 是 松散 耦合 的 ， 这 使 得 它 成 
为 一 个 理想 模式 来 集成 不 断 发 展 的 分 布 式 系统 的 节点 。 


代理 的 存在 进一步 改善 了 系统 节点 之 问 的 解 辜 ， 因 为 订阅 者 仅 与 代理 交互 ， 不 知道 
哪个 节点 是 消息 发 布 者 。 人 
即使 在 节点 之 间 存 在 连接 问题 的 情况 下 也 可 以 实现 可 靠 的 传送 


现在 ， 让 我 们 以 一 个 示例 来 演示 这 种 模式 。 


构建 一 个 简单 的 实时 聊天 应 用 程序 


为 了 展示 pub / sub 模式 如 何 帮 助 我 们 集成 分 布 式 体系 告 构 的 实例 ， 现 在 我 们 将 
使 用 纯 WebSockets 构建 一 个 非常 Ye es o。 然 后， 我 们 将 尝试 
通过 运行 多 个 实例 并 使 用 消息 传递 系统 进行 通信 来 扩展 它 。 


实现 服务 器 端 


现在 ， 让 我 们 一 次 一 步 。 首先 构建 我 们 的 聊天 应 用 程序 ; 为 此 ， 我 们 将 依赖 Ws， 它 
是 Node.js 的 纯 WebSocket 实现 。 我 们 知道 ， 在 ee 中 实现 实时 应 用 程 
序 非常 简单 ， 我 们 的 代码 将 证 实 这 一 假设 。 然 后 让 我 们 创建 聊天 的 服务 器 端 ; 其 内 
容 如 下 (在 app.js 文件 中 ) : 


const WebSocketServer = require('ws').Server; 


// 静态 的 文件 服务 器 
const server = require('http').createSserver( //[1] 
require('ecstatic' )({ 
root: ‘${_ dirname}/www. 
}) 
); 


const wss = new WebSocketServer({ 
server: server 
by) ZL2l 
wss.on('connection', ws => { 
console.log('Client connected ); 
ws.on('message', msg => { //[3] 
console.log( Message: ${msg} ); 
broadcast (msg); 
}); 
}); 


function broadcast(msg) { //[4] 
wss.clients.forEach(client => { 
client.send(msg); 
}); 
} 


server.listen(process.argv[2] || 8080); 


CY 
区 
e 
-中 
局 
让 


这 就 是 我 们 需要 在 服务 器 上 实现 聊天 应 用 程序 的 全 部 内 容 。 这 是 人 E 


1. 我 们 首先 创建 一 个 HTTP 服务 器 并 附 上 名 为 ecstatic 的 中 间 件 ( 
https://npmjs.org/package/ecstatic ) 来 提供 静态 文件 。 这 需要 为 我 们 的 应 用 
程序 ( JavaScript 和 CSS ) 的 客户 端 资源 提供 服务 。 

2. 我 们 创建 一 个 WebSocket 服务 器 的 新 实例 ， 并 将 其 附加 到 我 们 现 有 
的 HTTP 服务 器 上 。 然 后 ， 我 们 通过 附加 连接 事件 的 事件 侦 听 器 来 开始 监听 传 
入 的 WebSocket 连接 。 

3. 每 当 新 客户 端 连接 到 我 们 的 服务 器 时 ， 我 们 就 开始 监听 收 到 的 消息 。 当 新 消息 
到 达 时 ， 我 们 将 它 广播 给 所 有 连接 的 客户 端 

4. broadcast() 函数 是 对 所 有 连接 客户 端 进 行 广播 ， send() 函数 在 其 中 的 每 
一 个 客户 端 上 被 调用 。 


这 是 Node.js 的 魔力 ! 当然 ， 我 们 实现 的 服务 器 的 功能 非常 少 ， 仅 仅 实 现 了 基本 
的 功能 ， 但 正如 我 们 将 看 到 的 ， 它 能 够 工作 。 


实现 客户 端 


接 下 来 ， 是 时 候 实 施 我 们 聊天 的 客户 端 了 ;这 也 是 一 个 非常 小 而 简单 的 代码 片段 ， 基 
本 上 是 一 个 包含 一 些 基本 JavaScript 代码 的 最 少 的 HTML 页 面 。 让 我 们 在 一 个 
名 为 www/index.html 的 文件 中 创建 这 个 页 面 ， 如 下 所 示 : 


<!IDOCTYPE html> 
<html> 
<head> 
<script> 
Var ws = new WebSocket('ws://' + window.document.1location. 
host ); 
ws.onmessage = function(message) { 
var msgDiv = document.createElement('div'); 
msgDiv.innerHTML = message.data; 
document .getElementById('messages').appendchild(msgDiyv); 
}; 


function sendMessage() { 
var message = document.getElementById('msgBox').value; 
ws.send(message); 
} 
</SCITDE> 
</head> 
<body> 
Messages: 
<div id='messages'></div> 
<input type='text' placeholder='Send a message' id='msgBox'> 
<input type='button' onclick='sendMessage()' value='Send'> 
</body> 
</html> 


我 们 创建 的 HTML 页 面 并 不 需要 太 多 解释 ; 它 只 是 一 个 简单 的 Web 页 面 。 我们 使 用 
本 地 WebSocket 对 象 初始 化 与 Node.js 服务 器 的 连接 ， 然 后 开始 监听 来 自 服务 
器 的 消息 ， 并 在 它们 到 达 时 将 它们 显示 在 新 的 div 元 素 中 。 相 反 ， 我 们 使 用 简单 
的 文本 框 和 按钮 来 发 送 消 息 。 


在 停止 或 重新 启动 聊天 服务 器 时 ， WebSocket 连接 将 关闭 ， 并 且 不 会 自动 重新 连 
接 (如 果 要 实现 此 则 需要 使 用 高 级 库 ， 例 如 Socket.io ) 。 这 意味 着 在 服务 器 重 
新 局 动 后 重新 剧 新 浏览 器 以 重新 建立 连接 (或 实现 重新 连接 机 制 ， 这 里 我 们 不 会 介 


绍 ) 。 


人 AN 


运行 和 扩展 聊天 应 用 程序 
我 们 可 以 尝试 立即 运行 应 用 程序 ; 只 需 使 用 以 下 命令 启动 服务 器 即 可 : 


node app 8080 


要 运行 这 个 demo， 您 需要 支持 本 机 WebSocket 的 最 新 浏览 器 。 这 里 有 一 个 兼 
容 的 浏览 器 列表 : http://caniuse.com/#feat=websockets 


打开 浏览 器 ， 访 问 http://localhost:8080 : 


[DD localhost:8080 @o@ /[ loca counter 
> | © localhost:8080 € » GC © localhost:8080 女 | 要 = roOO3EEB 国 写 旬 口 唱 : 
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我 们 现在 要 展示 的 是 当 我 们 尝试 通过 启动 多 个 实例 来 扩展 应 用 程序 时 发 生 的 情况 。 
让 我 们 尝试 这 样 做 ， 让 我 们 在 另 一 个 端口 上 局 动 另 一 台 服 务 器 : 


node app 8081 


缩放 我 们 的 聊天 应 用 程序 的 理想 结果 应 该 是 连接 到 两 个 不 同 服务 器 的 两 个 客户 端 应 
该 能 够 交换 聊天 消息 。 不 幸 的 是 ， 这 不 如 我 们 所 愿 。 我 们 可 以 通过 打开 另 一 个 浏览 
器 选项 卡 来 尝试 打开 http://localhost:8081 。 


在 一 个 实例 上 发 送 聊天 消息 时 ， 我 们 在 本 地 广播 一 条 消息 ， 仅 将 其 分 发 给 连接 到 该 
特定 服务 器 的 客户 端 。 实 际 上 ， 两 台 服 务 器 不 会 互相 通话 。 我 们 需要 整合 它们 。 
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在 实际 的 应 用 程序 中 ， 我 们 将 使 用 负载 平衡 器 来 分 配 实例 中 的 负载 ， 但 对 于 此 演 
示 ， 我 们 不 会 使 用 它 。 这 使 我 们 能 够 以 确定 性 的 方式 访问 每 台 服 务 器 ， 以 验证 它 与 
其 它 实例 交互 的 方式 。 


使 用 Redis 作 为 消息 代理 


我 们 通过 引入 Redis 开 始 分 析 最 重要 的 pub / sub 实现 ， 这 是 一 个 非常 快速 和 灵 
活 的 键 / 值 存储 ， 也 被 许多 人 定义 为 数据 结构 服务 器 。 


Redis 比 消息 代理 更 像 是 一 个 数据 库 ; 然而 ， 在 其 众多 功能 中 ， 有 一 对 专门 用 于 实 
现 集中 式 发 布 /订阅 模式 的 命令 。 当然 ， 与 更 先进 的 面向 消息 的 中 间 件 相 比 ， 这 种 
实现 非常 简单 和 基本 ， 但 这 是 其 受 欢迎 的 主要 原因 之 一 。 通 常 ， 实 际 

上 ， Redis 已 经 在 现 有 基础 架构 中 广泛 使 用 ， 例 如 ， 作 为 缓存 服务 器 或 会 话 存 
储 ; 它 的 速度 和 灵活 性 使 其 成 为 在 分 布 式 系统 中 共享 数据 的 非常 流行 的 选择 。 因 
此 ， 只 要 项 目 中 出 现 对 发 布 /订阅 代理 的 需求 ， 最 简单 直接 的 选择 就 是 重 

用 Redis 本 身 ， 避 免 安 装 和 维护 专用 的 消息 代理 。 让 我 们 以 一 个 例子 来 展示 它 的 


功能 。 


这 个 例子 需要 安装 Redis ， 监 听 它 的 默认 端口 。 你 可 以 在 这 里 查看 : 
https://redis.io/topics/quickstart 


我 们 计划 使 用 Redis 来 作为 聊天 服务 器 的 消息 代理 。 每 个 实例 都 将 从 其 客户 端 接 
收 到 的 任何 消息 发 布 给 代理 ， 并 同时 订阅 来 自 其 他 服务 器 实例 的 消息 。 正 如 我 们 所 
看 到 的 ， 我 们 架构 中 的 每 个 服务 器 都 是 订阅 者 和 发 布 者 。 下 图 显示 了 我 们 想 要 获得 
的 体系 结构 的 表示 形式 : 


Chat Server 





Chat Server 
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4 a Chat Server 
通过 查看 上 图 ， 我 们 可 以 总 结 一 条 消息 的 经 历 如 下 : 


1. 将 消息 输入 到 网 页 的 文本 框 中 并 发 送 到 聊天 服务 器 的 连接 实例 。 

2. 邮件 然后 发 布 给 代理 。 

有 合 所 有 订阅 者 ， 在 我 们 的 体系 结构 中 ， 所 有 订阅 者 都 是 聊天 服 
务 器 的 实例 。 

4. 在 每 种 情况 下 ， 都 会 将 消息 分 发 给 所 有 连接 的 客户 端 。 


Redis 允许 发 布 和 订阅 由 字符 串 标识 的 频道 ， 例如 chat ,nodejs 。 它 还 允许 我 
们 使 用 glob 风格 的 模式 来 定义 可 能 匹配 多 个 频道 的 订阅 ， 例 如 chat.* 。 


我 们 在 实践 中 看 看 它 是 如 何 工 作 的 。 让 我 们 通过 添加 发 布 /订阅 逻辑 来 修改 服务 器 代 
码 : 


const WebSocketServer = require('ws').Server ; 
const redis = require("redis"); 

const redisSub = redis.createClient(); 

const redisPub = redis.createClient(); 


// 静态 文件 服务 器 
const Server = require('http').createServer( 
redquire(' ecstatic')({troot: ‘${_ dirname}/www }) 


) 


const wss = new WebSocketServer({server: server}); 
wss.on('connection', ws => { 
console.log('Client connected'); 
ws.on('message', msg => { 
console.log( Message: ${msg} ); 
redisPub.publish('chat messages', msg); 
}); 
}); 


redisSub.subscribe('chat messages'); 
redisSub.on('message', (channel, msg) => { 
wss.clients.forEach((client) => { 
client.send(msg); 
}); 
}); 


server.listen(process.argv[2] || 8080); 


我 们 对 原始 聊天 服务 器 所 做 的 更 改 在 前 面 的 代码 中 突出 显示 ; 下 面 来 解释 其 工作 原 
理 : 


1. 要 将 我 们 的 Node.js 应 用 程序 连接 到 Redis 服务 器 ， 我 们 使 用 redis， 它 是 
一 个 支持 所 有 可 用 Redis 命令 的 完整 客户 端 。 接 下 来 ， 我 们 实例 化 两 个 不 同 
的 建 接 ， 一 个 用 于 订 间 channel ， 另 一 个 用 于 旧 布 沁 。 这 在 Redis 中 是 

需 的 ， 因 为 一 旦 连接 进入 用 户 模式 ， 就 只 能 使 用 与 订阅 相关 的 命令 。 这 意味 
Pe 


2. 当 从 连接 的 客户 端 收 到 新 消息 时 ， 我 们 会 在 chat_messages 通道 中 发 布 消 
。 我 们 不 直接 向 客户 广播 该 消息 ， 因 为 我 们 所 有 的 服务 器 订阅 了 同一 
个 channel (我 们 稍 后 会 看 到 ) ， 所 以 它 会 通过 Redis 返回 给 我 们 。 对 于 
这 包围 来 说 ， 这 这 是 一 个 简单 而 有 效 的 机 制 。 


3. 正如 我 们 所 说 的 ， 我 们 的 服务 器 还 必须 订阅 chat _messages 通道 ， 因 此 我 们 
注册 一 个 侦 听 器 来 接收 发 布 到 该 通道 的 所 有 消息 〈 通 过 当前 服务 器 或 任何 其 他 
a ， 我 们 只 是 将 它 广播 给 所 有 连接 到 当 
前 WebSocket 服务 器 的 客户 端 。 


这 些 少许 的 改变 足以 让 聊天 服务 器 信息 互通 。 为 了 证 明 这 一 点 ， 我 们 可 以 尝试 启动 
我 们 应 用 程序 的 多 个 实例 : 


node app 8080 
node app 8081 
node app 8082 


on 


然后 ， 我 们 可 以 将 多 个 浏览 器 的 选项 卡 连 接 到 每 个 实例 ， 并 验证 我 们 发 送 到 一 台 服 
的 消息 是 否 被 连接 到 不 同 服务 器 的 所 有 其 他 客户 端 成 功 接收 。 茶 喜 ! 我 们 只 使 
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使 用 GMQ 进 行 点 对 点 发 布 /订阅 


代理 的 存在 可 以 大 大 简化 消息 传递 系统 的 体系 结构 ; 但 是 ， ， 情况 下 ， 它 不 是 
最 佳 解 决 方案 ， 例 如 ， 当 不 人 EE 接受 延 时 的 情况 下 ， 扩 展 复杂 的 分 布 式 系 统 时 ， 或 者 
当代 理 节 点 失败 或 发 生 弄 常 的 情况 。 


介绍 QMQ 


如 果 我 们 的 项 目 可 选择 点 对 点 消息 交换 模式 ， 那 最 住 解决 方案 应 该 是 OMQ， 也 称 

为 zmq 、 ZeroMQ 或 OMQ ) pe 过 这 个 库 。 gMQ 是 一 个 
网 络 库 ， ， 提 他 0 息 模式 的 基本 工具 。 它 是 低级 的 ， 速 度 非 常 快 ， 并 且 具 有 
简约 的 API 它 提供 了 消息 传递 系 0 例如 原子 消息 ， 负 

载 平衡 ， ee 。 它 支持 许多 类 型 的 传输 ， 例 如 进程 内 通道 ( inproc:// ) ， 

进程 间 通 信 ( ipc:// ) ， 使 用 PGM 协 议 ( pgm:// 或 epgm:// ) 的 多 播 ， 当 

然 ， 经 典 的 TCP ( tcp:// ) 。 在 gMQ 的 功能 中 ， 我 们 还 可 以 找到 实现 发 布 / 订 
阅 模式 的 工具 ， 这 正 是 我 们 的 例子 所 需要 的 。 因 此 ， oo 
程序 的 体系 结构 中 删除 代理 ( Redis ) ， 并 让 各 个 节点 以 对 等 方式 进行 通信 ， 利 

用 gMQ 的 发 布 /订阅 套 接 字 。 


GMQ 套 接 字 可 » 





当 我 们 从 架构 中 移 除 代理 时 ， 聊 天 应 用 程序 的 每 个 实例 都 必须 直接 连接 到 其 他 可 用 
实例 ， 以 便 接收 他 们 发 布 的 消息 。 在 @MQ 中 ， 我 们 有 两 种 专门 为 此 设计 的 套 接 
字 : PUB 和 SUB 。 典 型 的 模式 是 将 PUB 套 接 字 绑 定 到 一 个 端口 ， 该 端口 将 开始 
侦 听 来 自 其 他 SUB 套 接 字 的 订阅 。 


订阅 可 以 有 一 个 过 滤器 ， 指 定 将 传递 到 SUB 套 接 字 的 消息 。 该 过 滤器 是 一 个 简单 
的 二 进 制 缓冲 区 (所 以 它 也 可 以 是 一 个 字符 串 ) ， 它 将 与 消息 的 开头 (这 也 是 一 个 
二 进 制 缓冲 区 ) 相 匹 配 。 当 通过 PUB 套 接 字 发 送 一 条 消息 时 ， 它 将 被 广播 到 所 有 
连接 的 SUB 套 接 字 ， 但 仅 在 应 用 了 它们 的 订阅 过 滤器 之 后 。 仅 当 使 用 连接 的 协议 
时 ， 过 滤器 才 会 应 用 到 发 布 方 ， 例如 TCP 。 


下 图 显示 了 应 用 于 我 们 的 分 布 式 聊天 服务 器 体系 结构 的 模式 (为 简单 起 见 ， 仅 有 两 
个 实例 ) 
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要 运行 本 节 中 的 示例 ， 您 需要 在 系统 上 安装 本 地 gMQ 二 进 制 文件 。 你 可 以 在 
http://zeromq.org/intro:get-the-software 找到 更 多 信息 。 注 意 : 此 示例 已 针 
对 gMQ 的 4.9 分 支 进行 了 测试 。 


使 用 gMQ 的 PUB / SuB 套 接 字 


让 我 们 通过 修改 我 们 的 聊天 服务 器 来 看 看 它 是 如 何 工作 的 : 


const WebSocketServer = require('ws').Server ; 
const args = require('minimist')(process.argv.slice(2)); 
const zmq = require('zmq' ); 


//static file server 
const server = require('http').createServer( 
require('ecstatic')({root: ‘${_ dirname}/www }) 


); 


const pubSocket = zmq.socket('pub"'); 
pubSocket .bind( “tcp://127.0.0.1:${args['pub']} ); 


const subSocket = zmq.socket('sub'); 
const SubPorts = [].concat(args['sub']); 
subPorts.forEach(p => { 
console.log( Subscribing to ${p} ); 
subSocket.connect( “tcp://127.0.0.1:${p} ); 
}); 


SubSocket ,Subscribe( :chat  )， 


subSocket.on('message', msg => { 
console.log( From other server: ${msg} ); 
broadcast(msg.toSstring().split(' ')[1]); 
}); 


const wss = new WebSocketServer({server: server}); 
wss.on('connection', ws => { 
console.log('Client connected ' ) ， 
ws.on('message', msg => { 
console.log( Message: ${msg} ); 
broadcast (msg); 
pubSocket .send( chat ${msg} ); 
}); 
}); 


function broadcast(msg) { 
wss.clients.forEach(client => { 
client.send(msg); 
}); 
} 


server.listen(args['http'] || 8080); 


前 面 的 代码 清楚 地 表明 ， 我 们 的 应 用 程序 的 逻辑 变 得 稍微 复杂 一 些 ; 然而 ， 考 虑 到 
我 们 正在 实施 分 布 式 和 点 对 点 的 发 布 /订阅 模式 ， 它 仍然 很 简单 。 让 我 们 看 看 所 有 的 
部 分 是 如 何 结合 在 一 起 的 : 


1. 我 们 需要 zmq， 它 基本 上 是 gMQ 库 的 Node.js 版 本 。 我 们 还 需要 minimist ， 
它 是 一 个 命令 行 参数 解析 器 ; 我 们 需要 这 个 能 够 轻松 接受 命名 参数 。 

2. 我 们 立即 创建 我 们 的 PUB 套 接 字 并 将 其 绑 定 到 - pub 命令 行 参 数 中 提供 的 端 
己 o 


3. 我 们 创建 SUB 套 接 字 ， 并 将 它 连接 到 应 用 程序 We 的 PUB 套 接 字 。 目 
标 PUB 套 接 字 的 端口 在 -- sub 命 命令 行 参 数 中 提供 (可 多 个 ) 。 然 后 ， 我 
们 通过 提供 chat 作为 过 滤器 来 创建 实际 订阅 ， 这 意味 着 我 们 只 会 政 到 
以 chat 开始 的 消息 。 

4.， 当 我 们 的 WebSocket 接收 到 新 消息 时 ， 我 们 将 它 广播 给 所 有 连接 的 客 win 
但 我 们 也 通过 PUB 套 接 字 发 布 它 。 我 们 使 用 chat 作为 前 级 ， 0 5 格 
因此 该 消息 将 作为 过 滤器 发 布 到 所 有 使 用 chat 的 订阅 者 。 

5. 我 们 开始 监听 到 达 我 们 SUB 套 接 字 的 消息 ， 我们 对 消息 做 一 些 简单 的 解析 以 
出 除 聊 天 前 级 ， 然 后 我 们 将 它 广播 给 所 有 连接 到 当前 WebSocket 服务 器 的 客 
尸 端 。 


我 们 现在 已 经 构建 了 一 个 简单 的 分 布 式 系统 ， 使 用 点 对 点 发 布 /订阅 模式 进行 集成 ! 


让 我 们 开始 吧 ， 让 我 们 通过 确保 正确 连接 它们 的 PUB 和 SUB 插 槽 来 启动 我 们 的 应 
用 程序 的 三 个 实例 : 


node app --http 8080 --pub 5000 --Sub 5001 --Sub 5002 
node app --http 8081 --pub 5001 --Sub 5000 --Sub 5002 
node app --http 8082 --pub 5002 --Sub 5000 --sub 5001 


第 一 个 命令 将 启动 一 个 HTTP 服务 器 侦 听 端口 8986 的 实例 ， 同 时 在 端 

口 5000 上 绑 定 PUB 套 接 字 ， 并 将 SUB 套 接 字 连 接 到 端口 5001 和 5002 ， 这 
是 其 他 两 个 实例 的 PUB 套 接 字 应 该 侦 听 的 端口 。 其 他 两 个 命令 以 类 似 的 方式 工 
作 。 


现在 ， 我 们 可 以 看 到 的 第 一 件 事情 是 ， 如 果 与 PUB 套 接 字 对 应 的 端口 不 可 

用 ， gMQ 不 会 崩溃。 例如 ， 在 第 一 个 命 令 执 行 时 ， 端 口 5001 和 5002 仍然 不 可 
用 ; 但 是 ， gMQ 不 会 引发 任何 错误 。 这 是 因为 gMQ 具有 重 连 机 制 ， 它 会 自动 党 试 
定期 与 这 些 端口 建立 连接 。 如 果 任 何 节点 出 现 故 障 或 重新 启动 ， ， 此 功能 特别 适用 。 
相同 的 逻辑 适用 于 PUB 套 接 字 : 如 果 没 有 订阅 者 ， 它 将 简单 地 删除 所 有 消息 ， 但 
它 将 继续 工作 。 


此 时 ， 我 们 可 以 尝试 使 用 浏览 器 导航 到 我 们 启动 的 任何 服务 器 实例 ， 并 验证 这 些 消 
息 是 否 适 当地 向 所 有 聊天 服务 器 广播 。 
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在 前 面 的 例子 中 ， 我 们 假设 了 一 个 静态 体系 结构 ， 其 中 实例 的 数量 和 地 址 是 事先 已 
知 的 。 我 们 可 以 引入 一 个 服务 注册 表 ， 如 前 一 章 所 述 ， 动 态 连 接 我 们 的 实例 。 同 样 
重要 的 是 要 指出 gMQ 可 以 用 来 实现 代理 模式 。 


持久 订阅 者 


消息 传递 系统 中 的 一 个 重要 抽象 是 消息 队列 ( MQ ) 。 对 于 消息 队列 ， 消 息 的 发 送 
者 和 接收 者 不 需要 同时 处 于 活动 状态 和 连接 状态 以 建立 通信 ， 因 为 排队 系统 负责 存 
储 消 息 直到 目的 地 能 够 接收 他 们 。 这 种 行为 与 set and forget 范式 相反 ， 订 户 
只 能 在 消息 系统 连接 期 间 才 能 接收 消息 。 


一 个 能 够 始终 可 靠 地 接收 所 有 消息 的 订阅 者 ， 即 使 是 在 没有 收听 这 些 消息 时 发 送 的 
消息 ， 也 被 称 为 持久 订阅 者 。 


Messaging and Integration Patterns 


MQTT 协议 为 发 送 方 和 接收 方 之 间 交 换 的 消息 定义 了 服务 质量 (QoS) 级 别 。 
这 些 级 别 对 描述 任何 其 他 消息 系统 (不 仅仅 是 MQTT ) 的 可 靠 性 也 非常 有 用 。 
如 下 描述 : 


QoSO ， 最 多 一 次 : 也 被 称 为 "设置 并 忘记 ”， 消 息 不 会 被 保留 ， 并 且 传 送 未 被 确 
认 。 这 意味 着 在 接收 机 崩溃 或 断 开 的 情况 下 ， 信 息 可 能 会 丢失 。 QoS1 ， 至 少 一 
次 : 保证 至 少 收 到 一 次 该 消息 ， 但 如 果 在 通知 发 件 人 之 前 接收 器 崩溃 ， 则 可 能 发 生 
重复 。 这 意味 着 消息 必须 在 必须 再 次 发 送 的 情况 下 持续 下 去 。 QoS2 ， 正 好 一 
次 : 这 是 最 可 靠 的 QoS ; 它 保证 该 消息 只 被 接收 一 次 。 这 是 以 用 于 确认 消息 传递 
的 更 慢 和 更 数据 密集 型 机 制 为 代价 的 。 


请 在 MQTT 规 范 中 了 解 更 多 信息 
http://public.dhe.ibm.com/software/dw/webservices/Wws-mqtt /mdtt- 
v3r1.html#qos-flows 


正如 我 们 所 说 的 ， 对 于 持久 订阅 者 ， 我 们 的 系统 必须 使 用 消息 队列 来 在 用 户 断 开 连 


接 时 累积 消息 。 队 列 可 以 存储 在 内 存 中 ， 也 可 以 保存 在 磁盘 上 以 允许 恢复 其 消息 ， 
即使 代理 重新 启动 或 崩溃 。 下 图 显示 了 由 消息 队列 支持 的 持久 订阅 者 : 


Normal operations Publisher Subsciber 


Subscriber not 
avallable, messages Publisher 
accurmulate in the queue 


Subscriber comes back i 
online, the queue Publisher | 中 | | | | -一 外 Subsciber 
SS drained 


持久 订阅 者 可 能 是 消息 队列 所 支持 的 最 重要 的 模式 ， 但 它 肯 定 不 是 唯一 的 模式 ， 我 
们 将 在 本 章 后 面 看 到 。 


Redis 的 发 布 /订阅 命令 实现 了 一 个 设置 和 遗忘 机 制 ( QoS9 ) 。 但 
是 ， Redis 仍然 可 以 用 于 使 用 其 他 命令 的 组 合 来 实现 持久 订阅 者 (不 直接 依赖 其 
发 布 /订阅 实现 ) 。 您 可 以 在 以 下 博客 文章 中 找到 关于 此 技术 的 说 明 : 


Wo 





e https://davidmarquis.wordpress.com/2013/01/03/reliable-delivery-message- 
queues-with-redis/ 
e http:/www.ericjperry.com/redis-message-queue/ 


gMQ 定义 了 一 些 支持 持久 订阅 者 的 模式 ， 但 实现 这 种 机 制 主要 取决 于 我 们 。 


介绍 AMQP 


消息 队列 通常 用 于 不 能 丢失 消息 的 情况 ， 其 中 包括 任务 关键 型 应 用 程序 ， 如 银行 或 
金融 系统 。 这 通常 意味 着 典型 的 企业 级 消息 队列 是 一 个 非常 复杂 的 软件 ， 它 使 

用 bulletproof protocols 和 持久 存储 来 保证 即使 在 出 现 故 障 时 也 能 传送 消息 。 
由 于 这 个 原因 ， 企 业 消 息 传递 中 间 件 多 年 来 一 直 是 Oracle 和 IBM 等 巨头 的 特 
权 ， 它 们 中 的 每 一 个 通常 都 实施 自己 的 专 有 协议 ， 导 致 强大 的 客户 锁定 。 幸 运 的 
是 ， 由 于 诸如 AMQP ， STOMP 和 MQTT 等 开放 协议 的 增长 ， 邮 件 系 统 进入 主流 已 
经 有 几 年 了 。 为 了 理解 消息 队列 系统 的 工作 原理 ， 现 在 我 们 将 概述 AMQP ;这 是 了 
解 如 何 使 用 基于 此 协议 的 典型 API 的 基础 。 


AMQP 是 许多 消息 队列 系统 支持 的 开放 标准 协议 。 除 了 定义 通用 通信 协议 外 ， 它 还 
提供 了 描述 路 由 ， 过 滤 ， 排 队 ， 可 人 靠 性 和 安全 性 的 模型 。 存 AMQP 中 ， 有 三 个 基本 
组 成 部 分 : 


e。 Queue (队列 ) : 负责 存储 客户 端 消费 的 消息 的 数据 结构 。 我 们 的 应 用 程序 推 
送 消息 到 队列 ， 供 给 一 个 或 多 个 消费 者 。 如 果 多 个 使 用 者 连接 到 同一 个 队列 ， 
则 这 些 消息 会 在 它们 之 间 进 行 负载 平衡 。 队列 可 以 是 以 下 之 一 : 

o Durable (持久 队列 )”: 这 意味 着 如 果 代 理 重新 启动 ， 队 列 会 自动 重新 创 
建 。 一 个 持久 的 队列 并 不 意味 着 它 的 内 容 也 被 保留 下 来 ; 实际 上 ， 只 有 标 
记 为 持久 性 的 消息 才 会 保存 到 磁盘 ， 并 在 重新 启动 的 情况 下 进行 恢复 。 

o Exclusive ( 专 有 队列 ) : 这 意味 着 队列 只 能 绑 定 到 一 个 特定 的 用 户 连 
接 。 当 连接 关闭 时 ， 队 列 被 销毁 。 

o Auto-delete (自动 删除 队列 ) : 这 会 导致 队列 在 最 后 一 个 用 户 断 开 连 接 
时 被 删除 。 

。 Exchange (交换 机 ) : 这 是 发 布 消息 的 地 方 。 交 换 机 根据 它 实 现 的 算法 将 消 
息 路 由 到 一 个 或 多 个 队列 : 

o Direct exchange (直接 交换 机 ) : 通过 匹配 路 由 键 〈 例 
如 ， chat.msg ) 整个 消息 来 路 由 消息 。 

o Topic exchange (主题 交换 机 ) : 它 使 用 与 路 由 密 钥 相 匹 配 的 类 
似 glob 的 模式 分 发 消息 (例如 ， chat.# 匹配 以 chat 开始 的 所 有 路 
由 密 钥 ) 。 

o Fanout exchange ( 扇 出 交换 机 ) : 它 向 所 有 连接 的 队列 广播 消息 ， 忽 略 
提供 的 任何 路 由 密 钥 。 

e。 Binding ( 绑 定 ) : 这 是 交换 机 和 队列 之 间 的 链接 。 它 还 定义 了 路 由 键 或 用 于 
过 滤 从 交换 机 到 达 的 消息 的 模式 。 


这 些 组 件 由 代理 管理 ， 该 代理 公开 用 于 创建 和 操作 它们 的 API 。 当 连接 到 代理 
时 ， 客 户 端 创建 一 个 到 连接 的 通道 ， 负 责 维护 与 代理 的 通信 状态 。 


在 AMQP 中 ， 可 以 通过 创建 任何 类 型 的 非 排 他 性 或 自动 删除 的 队列 来 获得 持久 
用 户 模式 。 


下 图 将 所 有 这 些 组 件 放 在 一 起 : 


本 


| Publisher 一 一 们 Dohengs 
ww | (topic or direct 


六 Exchange 
| ee ) ~ 0 
, (fanoutd) 


AMQP 模型 比 我 们 目前 使 用 的 消息 系统 ( Redis 和 gMQ ) 更 复杂 ; 但 是 ， 比 起 
只 使 用 原生 发 布 /订阅 机 制 ， 它 提供 了 一 系列 功能 和 可 靠 性 的 保证 。 


您 可 以 在 RabbitMQ 网 站 上 找到 AMQP 模型 的 详细 介绍 : 
https://www.rabbitmq.com/tutorials/amqp-concepts.html 














使 用 AMQP 和 RabbitMQ 的 持久 订阅 者 


现在 让 我 们 练习 一 下 我 们 了 解 持久 订阅 者 和 AMQP 的 内 容 ， 并 开发 一 个 小 例子 。 不 
丢失 任何 消息 很 重要 的 典型 场景 是 ， 我 们 希望 保持 微服 务 体系 结 构 的 不 同 服务 同 
步 ; 我 们 在 前 一 章 已 经 描述 了 这 种 集成 模式 。 如 果 我 们 想 要 使 用 经 纪 商 将 所 有 服务 
保留 在 同一 页 面 上 ， 那 么 我 们 不 会 丢失 任何 信息 是 非常 重要 的 ， 否 则 我 们 可 能 会 处 
于 不 一 致 的 状态 。 


为 聊天 应 用 程序 设计 一 个 历史 记录 服务 

现在 让 我 们 使 用 微服 务 方法 扩展 我 们 的 小 聊天 应 用 程序 。 让 我 们 添加 一 个 历史 记录 
服务 ， 将 我 们 的 聊天 消息 保存 在 数据 库 中 ， 这 样 当 客户 端 连 接 时 ， 我 们 可 以 查询 服 
务 并 检索 整个 聊天 记录 。 我 们 将 使 用 RabbitMQ broker 和 AMQP 将 历史 记录 服务 器 
与 聊天 服务 器 相 集 成 。 

下 图 显示 了 我 们 的 架构 : 





or 


一 
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如 前 面 的 体系 结构 所 述 ， 我 们 将 使 用 单个 局 出 交换 机 ; 我 们 不 需要 任何 特定 的 路 
由 ， 所 以 我 们 的 场景 不 需要 任何 更 复杂 的 交换 。 接 下 来 ， 我 们 将 为 聊天 服务 器 的 每 
个 实例 创建 一 个 队列 。 这 些 队 列 是 排他 性 的 ; 当 聊 天 服务 器 处 于 脱 机 状态 时 ， 我 们 
无 意 收 到 任何 遗漏 的 消息 ， 都 会 传送 给 历史 记录 服务 器 记录 ， 最 终 还 可 以 针对 存储 
的 消息 的 查询 。 实 际 上 ， 这 人 不 是 持久 订阅 者 ， 
并 且 只 要 连接 关闭 ， 它 们 的 队列 就 会 被 销 奴 


相反 ， 历 史记 录 服 务 器 不 能 丢失 任何 信息 ; 否则 ， 它 不 会 达到 其 目的 。 我 们 要 为 它 
创建 的 队列 必须 耐用 ， ee 史记 录 服 务 断 开 连 车 接 时 发 布 的 任何 消息 将 保留 在 队 
列 中 ， 并 在 联机 时 交付 。 


我 们 将 使 用 熟悉 的 LevelUP 作为 历史 记录 服务 的 存储 引擎 ， 而 我 们 将 使 
用 amqplib， 并 通过 AMQP 协议 连接 到 RabbitMQ 。 
需要 工作 的 RabbitMQ 服务 器 ， 侦 听 其 默认 端口 。 有 关 更 多 信息 ， 
表 参 阅 其 官方 安装 指南 : http://www.rabbitmq.com/download.html 
使 用 AMQP 实现 可 靠 的 历史 记录 服务 


现在 让 我 们 实施 我 们 的 历史 记录 服务 器 ! 我 们 将 创建 一 个 独立 的 应 用 程序 (典型 的 
微服 务 ) ， 它 在 模块 historySvc,js 中 实现 。 该 模块 由 两 部 分 组 成 : 向 客户 端 展 
示 聊 天 记录 的 HTTP 服务 器 ， 以 及 负责 捕获 聊天 消息 并 将 其 存储 在 本 地 数据 库 中 
的 AMQP 使 用 者 。 


让 我 们 来 看 看 下 面 代码 中 的 内 容 : 


const level = require('level'); 

const timestamp = regquire('monotonic-timestamp'); 
const JSONStream = require('JSONStream'); 

const amqp = require('amqplib'); 

const db = level('./msgHistory'); 


require('http').createServer((req, res) => { 
res.writeHead(200); 
db.createValueSstream() 
.pipe(JSONStream.stringify()) 
.pipe(res); 
}).listen(8090); 


Jet channel, queue; 


amqp 
.Connect('amqp://localhost') // [1] 
‘then(conn => conn.createChannel()) 
.then(ch => { 
channel = ch; 
return channel.assertExchange('chat', 'fanout'); // [2] 


}) 
,then(() => channel.assertQueue('chat_ history')) // [3] 


‘then((q) => { 
queue = q.queue; 
return channel.bindQueue(queue, 'chat'); // [4] 


‘then(() => { 
return channel.consume(queue, msg => { // [5| 
const content = msg.content.toString(); 
console.log( Saving message: ${content} ); 
db.put(timestamp(), content, err => { 
If (!err) channel.ack(msg); 
}); 
}); 
}) 


.Catch(err => console.log(err)) 


我 们 可 以 立即 看 到 AMQP 需要 一 些 设置 ， 这 对 创建 和 连接 模型 的 所 有 组 件 都 是 必需 
的 。 观 察 amqplib 默认 支持 Promises 也 很 有 趣 ， 所 以 我 们 大 量 利用 它们 来 简 
化 应 用 程序 的 异步 步 又。 让 我 们 详细 看 看 它 是 如 何 工作 的 : 


1. 我 们 首先 与 AMQP 代理 建立 连接 ， 在 我 们 的 例子 中 是 RabbitMQ 。 然 后 ， 我 
们 创建 一 个 channel ， 该 channel 类 似 于 保持 我 们 通信 状态 的 会 话 。 

2. 接 下 来 ， 我 们 建立 了 我 们 的 会 话 ， 名 为 chat 。 正 如 我 们 已 经 提 到 的 那样 ， 这 
是 一 种 扇 出 交换 机 。 assertExchange() 命令 将 确保 代理 中 存在 交换 ， 否 则 
它 将 创建 它 。 

3. 我 们 还 创建 了 我 们 的 队列 ， 名 为 chat_history 。 上 默认 情况 下 ， 队 列 是 持久 
的 ; 不 是 排他 性 的 ， 也 不 会 自动 删除 ， 所 以 我 们 不 需要 传递 任何 额外 的 选项 来 
支持 持久 订阅 者 。 


4. 


接 下 来 ， 我 们 将 队列 绑 定 到 我 们 以 前 创建 的 交换 机 。 在 这 里 ， 我 们 不 需要 任何 
其 他 特殊 选项 ， 例 如 路 由 键 或 模式 ， 因 为 交换 机 是 扇 出 类 型 的 交换 机 ， 所 以 它 
不 执行 任何 过 滤 。 


. 最后， 我 们 可 以 开始 监听 来 自我 们 刚 创 建 的 队列 的 消息 。 我 们 将 使 用 时 间 和 戳记 


作为 密 钥 ( https://npmjs.org/package/monotonic-timestamp ) 

在 LevelDB 数据 库 中 收 到 的 每 条 消息 保存 ， 以 保持 消息 按 日 期 排序 。 看 到 我 
们 使 用 channel.ack(msg) 来 确认 每 条 消息 ， 并 且 只 有 在 消息 成 功 保存 到 数 

据 库 后 ， 也 很 有 趣 。 如 果 代 理 没 有 收 到 ACK (确认 ) ， 则 该 消息 将 保留 在 队 

列 中 以 供 再 次 处 理 。 这 是 AMQP 将 服务 可 靠 性 提升 到 全 新 水 平 的 另 一 个 重要 特 
征 。 如 果 我 们 不 想 发 送 明 确 的 确认 ， 我 们 可 以 将 选项 {noAck:true} 传递 


给 channel.consume() API 。 


将 聊天 应 用 程序 与 AMQP 集成 


要 使 用 AMQP 集成 聊天 服务 器 ， 我 们 必须 使 用 与 我 们 在 历史 记录 服务 器 中 实现 的 设 
置 非常 相似 的 设置 ， 因 此 我 们 不 打算 在 此 重复 。 但 是 ， 看 看 队列 是 如 何 创 建 的 以 及 
如 何 将 新 消息 发 布 到 交换 中 仍然 很 有 趣 。 新 的 app.js 文件 的 相关 部 分 如 下 : 


const WebSocketServer = require('ws').Server ; 
const amqp = require('amqplib'); 

const JSONStream = regquire('JSONStream' ) ， 
const request = require('request"'); 

let httpPort = process.argv[2] || 8080; 


const server = require('http').createSserver( 


) 


require('ecstatic')({root: ‘${_ dirname}/www }) 


Jet channel, queue; 
amqp 


[su 


.Connect('amqp://localhost') 
‘then(conn => conn.createChannel()) 
‘then(ch => { 
channel = ch; 
return channel.assertExchange('chat', 'fanout"'); 


}) 
.then(() => { 
return channel.assertQueue( chat_ srv_${httpPort} , {exclusiv 
true}); 
}) 
‘then(q => { 
dueue = q.queue; 
return channel.bindQueue(queue, "chat ' ) ， 


}) 
.then(() => { 
return channel.consume(queue, msg => { 
msg = msg.content.toString(); 
console.log('From queue: ' + msg); 
broadcast (msg); 
}, {noAck: true}); 


}) 


,Catch(err => console.log(err)) 


const wss = new WebSocketServer({server: server}); 
wss.on('connection', ws => { 
console.log('Client connected ' ) ， 
queryeneahnaseolyEselnyee 
request('http://localhost:8090') 
.ON('error', err => console.log(err)) 
.pipe(JSONStream.parse('*')) 
.ONn('data', msg => ws.send(msg)) 


日 
/ 


ws.on('message', msg => { 
console.log( Message: ${msg} ); 
channel.publish('chat', '', new Buffer(msg)); 
}); 
}); 


function broadcast(msg) { 
wss.clients.forEach(client => client.send(msg)); 


} 


server.listen(httpPort); 


正如 我 们 所 提 到 的 ， 我 们 的 聊天 服务 器 不 需要 成 为 持久 的 订阅 者 。 所 以 当 我 们 创 
我 们 的 队列 时 ， 我 们 传递 选项 fexclusive:truey ， 指 示 队 列 被 限制 到 当前 连 
接 ， 因 此 一 旦 聊天 服务 器 关闭 ， 它 就 会 被 销毁 。 


Pn 


发 布 新 消 息 也 很 容易 ; 我 们 只 需要 指定 目标 交换 机 (聊天 ) 和 一 个 路 由 键 ， 在 我 们 
的 情况 下 这 是 空 的 (") ， 因 为 我 们 正在 使 用 局 出 交换 。 


我 们 现在 可 以 运行 我 们 改进 的 聊天 应 用 程序 架构 ; 为 此 ， 我 们 开始 两 个 聊天 服务 器 
和 历史 服务 : 


node app 8080 
node app 8081 
node historySvc 


De Re Ms ts Ci Le 


思 。 如 果 我 们 停止 历史 记录 服务 器 并 继续 使 用 聊天 应 用 程序 的 Web UI 发 送 消息 ， 
我 们 将 会 看 到 ， 当 历 史记 录 服务 器 重新 启动 时 ， 它 将 立即 收 到 所 有 错过 的 消息 。 


了 s 


localhost:8081 
DD Oe@e®@ [9 localhost:8080 x 


G@ localhost:8081 


| C © localhost:8080 
:应 用 G Google GitHup 问 


:下 应 用 G Google © GitHub 党 百度 一 下 ， 你 就 知道 


Messages 
123 9 Messages 
123 
Send a message Send 
123 Send 


管道 和 任务 分 配 模 式 


在 Chapter9-Advanced Asynchronous Recipes 中 ， 我 们 学 习 了 如 何 将 高 耗 能 的 
任务 委派 给 多 个 本 地 进程 ， 但 即使 这 是 一 种 有 效 的 方法 ， 但 它 也 无 法 在 单个 机 器 的 
边界 之 外 进行 缩放 。 在 本 节 中 ， 我 们 将 看 到 如 何在 分 布 式 架构 中 使 用 类 似 的 模式 ， 
使 用 位 于 网 络 中 任何 位 置 的 远程 worker 。 


这 个 想法 是 有 一 个 消息 传递 模式 ， 允 许 我 们 跨 多 台 机 器 传播 任务 。 这 些 任务 可 能 是 
单独 的 工作 块 或 者 使 用 分 而 治之 技术 分 割 的 更 大 任务 。 


如 果 我 们 看 看 下 图 所 示 的 逻辑 架构 ， 我 们 应 该 能 够 认识 到 一 种 熟悉 的 模式 : 
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从 上 图 我 们 可 以 看 到 ， 发 布 /订阅 模式 不 适合 这 种 类 型 的 应 用 程序 ， 因 为 我 们 绝对 不 
希望 多 个 worker 接收 任务 。 我 们 需要 的 是 一 种 类 似 于 负载 均衡 器 的 消息 分 发 模 

式 ， 它 将 每 条 消息 分 派 给 不 同 的 消费 者 (在 本 例 中 也 称 为 worker) 。 在 消息 传递 系 
统 术 语 中 ， 这 种 模式 被 称 为 竞争 消费 者 。 


与 上 一 章 中 我 们 看 到 的 HTTP 负载 均衡 器 的 一 个 重要 区 别 是 ， 在 这 里 ， 消 费 者 扮演 
着 更 积极 的 角色 。 事 实 上 ， 我 们 将 在 后 面 看 到 ， 大 多 数 情况 下 ， 生 产 者 不 是 连接 到 
消费 者 ， 而 是 连接 到 任务 生产 者 或 任务 队列 的 消费 者 本 身 ， 以 便 接 收 新 的 工作 。 这 
对 于 可 扩展 系统 来 说 是 一 个 很 大 的 优势 ， 因 为 它 可 以 在 不 修改 生产 者 或 采用 服务 注 
册 表 的 情况 下 无 缝 增加 worker 数量 。 

另外 ， 在 通用 消息 传递 系统 中 ， 我 们 不 一 定 需要 生产 者 和 worker 之 间 的 请 求 / 回 
复 通信 。 相 反 ， 大 多 数 情 况 下 ， 首 选 的 方法 是 使 用 单 向 异步 通信 ， 这 可 以 实现 更 好 
的 并 行 性 和 可 伸缩 性 。 在 这 样 的 体系 结构 中 ， 消 息 可 能 总 是 以 一 个 方向 行进 ， 创 建 
管道 ， 如 下 图 所 示 : 
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管道 允许 我 们 构建 非常 复杂 的 处 理 体 系 结构 ， 而 不 需要 同步 请 求 /应 答 通 信 的 负担 ， 
通常 导致 更 低 的 延迟 和 更 高 的 吞吐 量 。 在 上 图 中 ， 我 们 可 以 看 到 消息 如 何在 一 
组 worker 分 布 ， 并 被 转发 到 其 他 处 理 单 元 ， 然 后 聚合 到 通常 称 为 接收 器 的 单个 节 


点 (局 入 ) 中 。 


在 本 节 中 ， 我 们 将 通过 分 析 两 个 最 重要 的 变 体 ， 即 点 对 点 通信 和 代理 模式 为 基础 ， 
来 关注 这 些 架构 的 构建 。 


A 
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管道 与 任务 分 配 模 式 的 组 合 也 称 为 并 行 管道 。 


GMQ 扇 出/ 遍 出 模式 


我 们 已 经 发 现 了 gMQ 在 构建 点 对 点 分 布 式 体系 结构 方面 的 一 些 优 势 。 在 前 一 节 
中 ， 我 们 使 用 PUB 和 SUB 套 接 字 向 多 个 消费 者 传播 单个 消息 ; 现在 我 们 将 看 到 如 
何 使 用 称 为 PUSH 和 PULL 的 另 一 对 套 接 字 来 构建 并 行 管道 。 


PUSH/PULL 套 接 字 


直观 地 说 ， 我 们 可 以 说 PUSH 套 接 字 用 于 发 送 消息 ， 而 PULL 套 接 字 是 用 于 接收 
的 。 这 似乎 是 一 个 微不足道 的 组 合 ; 然而 ， 它 们 有 一 些 很 好 的 特性 ， 使 它们 成 为 构 
建 单 向 通信 系统 的 完美 选择 : 


e@ 两 者 都 可 以 在 connet 模式 或 bind 模式 下 工作 。 换 名 话说 ， 我 们 可 以 构建 
一 个 PUSH 套 接 字 并 将 其 绑 定 到 本 地 端口 ， 以 监听 来 自 PULL 套 接 字 的 传 入 
连接 ， 反 之 亦 然 ， PULL 套 接 字 可 以 监听 来 自 PUSH 套 接 字 的 连接 。 消 息 总 
是 以 相同 的 方向 传播 ， 从 PUSH 到 PULL ; 它 只 是 连接 的 发 起 者 可 能 是 不 同 
的 。 绑 定 模式 是 耐用 节点 〈 例 如 任务 生产 者 和 接收 器 ) 的 最 佳 解决 方案 ， 而 连 
接 模 式 对 于 瞬 态 节点 (例如 任务 工作 者 ) 来 说 是 完美 的 。 这 使 得 瞬时 节点 的 数 
量 可 以 任意 变化 ， 而 不 会 影响 其 它 正 在 使 用 的 节点 。 


@ 如 果 有 多 个 PULL 套 接 字 连接 到 单个 PUSH 套 接 字 ， 则 消息 均匀 分 布 在 所 有 
的 PULL 套 接 字 中 ; 在 实践 中 ， 它 们 是 负载 均衡 的 (点 对 点 负载 平衡 |! ) 。 另 
一 方面 ， 从 多 个 PUSH 套 接 字 接 收 消息 的 PULL 套 接 字 将 使 用 公平 排队 系统 
处 理 消息 ， 这 意味 着 它们 将 从 所 有 负载 是 均衡 的 。 


e。 通过 没有 任何 连接 的 PULL 套 接 字 的 PUSH 套 接 字 发 送 的 消息 不 会 丢失 ; 他 
们 排队 等 待 生产 者 ， 直 到 一 个 节点 联机 并 开始 提取 消息 。 


我 们 现在 开始 了 解 gMQ 与 传统 Web 服务 的 不 同 之 处 ， 它 如 何 成 为 构建 任何 类 型 的 
消息 传递 系统 的 理想 工具 。 


使 用 GMQ 构 建 分 布 式 hashsum cracker 


现在 是 时 候 构建 一 个 示例 应 用 程序 来 查看 我 们 刚刚 描述 的 PUSH / PULL 套 接 字 的 
属性 。 一 个 简单 而 迷人 的 应 用 程序 可 能 是 一 个 hashsum cracker ， 一 个 使 用 暴力 
破解 技术 来 尝试 将 给 定 的 hashsum (MD5，SHA1 等 ) 与 给 定 字母 表 中 每 个 可 能 的 字 
符 变 体 进 行 匹配 的 系统 。 这 个 算法 的 负载 量 是 很 高 的 ( 
http://en.wikipedia.org/wiki/Embarrassingly_parallel ) ， 它 非常 适合 构建 演示 并 行 
管道 功能 的 示例 。 


对 于 我 们 的 应 用 程序 ， 我 们 希望 通过 一 个 节点 来 实现 典型 的 并 行 管道 ， 以 在 多 
个 worker 之 问 创建 和 分 配 任务 ， 以 及 一 个 节点 来 收集 所 有 结果 。 我 们 刚刚 描述 的 
系统 可 以 使 用 以 下 体系 结构 在 gMQ 中 实现 : 
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在 我 们 的 体系 结构 中 ， 我 们 有 一 个 ventilator ， 用 于 生成 给 定 字母 表 中 所 有 可 
能 的 字符 变 体 ， 并 将 它们 分 发 给 一 组 worker ， 然 后 计算 每 个 给 定 变 体 的 哈 希 函数 
并 尝试 将 其 与 输入 的 哈 希 函数 进行 匹配 。 如 果 找 到 匹配 项 ， 则 结果 将 发 送 到 结果 收 
集 器 节点 ( sink ) 。 

重点 是 ventilator 和 sink ， 而 worker 节点 是 随时 在 变化 中 的 。 这 意味 着 每 
个 worker 将 其 PULL 套 接 字 连 接 到 ventilator ， 并 将 其 PUSH 套 接 字 连 接 
到 ventilator ; 通过 这 种 方式 ， 我 们 可 以 在 不 改变 ventilator 和 sink 中 的 
任何 参数 的 情况 下 ， 启 动 和 停止 我 们 想 要 的 worker 数量 。 


实现 ventilator 


现在 ， 让 我 们 开始 通过 在 名 为 ventilator .js 的 文件 中 为 ventilator 创建 一 个 
新 模块 来 实现 我 们 的 系统 : 


const zmq = require('zmq'); 

const variationsStream = require('variations-stream'); 
const alphabet = 'abcdefghijklmnopqrstuvwxyz'; 

const batchSize T100005 

const maxLength process.argv[2]; 

const searchHash = process.argv[3]; 


const ventilator = zmq.socket('push'); // [i] 
ventilator.bindSync("tcp://*:5016"); 


let batch = []; 
variationsSstream(alphabet, maxLength) 
.ONn('data', combination => { 
batch.push(combination); 
If (batch.length === batchSize) { // [2] 
const msg = {searchHash: searchHash, variations: batch}; 
ventilator.send(JSON.stringify(msg)); 
batch = []; 


}) 

som( engd (= 
//send remaining combinations 
const msg = {searchHash: searchHash, variations: batch}; 
ventilator.send(JSON.stringify(msg)); 

}) 


为 避免 产生 太 多 变化 ， 我 们 的 生成 器 只 使 用 英文 字母 的 小 写字 母 ， 并 对 生成 的 单词 
的 大 小 设置 限制 。 这 个 限制 在 输入 中 作为 命令 行 参数 ( maxLength ) 
与 hashsum 匹配 ( searchHash ) 一 起 提供 。 我 们 使 用 名 为 variation-stream 的 
库 来 使 用 流 式 接口 生成 所 有 变 体 。 
但 是 我 们 最 感 兴趣 分 析 的 部 分 是 我 们 如 何 给 worker 分 配 任务 : 
1. 我 们 首先 创建 一 个 PUSH 套 接 字 ， 并 将 其 绑 定 到 本 地 端口 5000 ;这 
是 worker 的 PULL 套 接 字 将 连接 以 接收 任务 的 地 方 。 
2. 我 们 将 每 个 批 次 生成 的 变 体 进行 分 组 ， 然 后 制作 一 条 消息 ， 其 中 包含 匹配 的 散 
列 和 要 检查 的 一 批 单词 。 这 实质 上 是 worker 将 接受 的 任务 对 象 。 当 我 们 通 
过 ventilator 套 接 字 调 用 send() 时 ， 消 息 将 按 循环 分 配 传递 给 下 一 个 可 
用 的 worker 。 


实现 worker 


现在 是 实现 worker ( worker.js ) 的 时 候 了 : 


const zmq = require('zmq'); 

const crypto = require('crypto'); 

const fromventilator = zmq.socket('pull'); 
const toSink = zmq.socket('push'); 


fromVentilator.connect('tcp://localhost:5016'); 
toSsink.connect('tcp://localhost:5017'); 


fromVentilator.on('message', buffer => { 
const msg = JSON.parse(buffer); 
const variations = msg.variations; 
Variations ,forEach( word => { 
console.log( Processing: ${word} ); 
const Shasum = crypto.createHash('shal1'); 
shasum.update (word); 
const digest = shasum.digest('hex'); 
If (digest === msg.searchHash) { 
console.1og( “Found! => ${word}. ); 
toSink.send( Found! ${digest} => ${word} ); 


} 
}); 
Dy 


正如 我 们 所 说 的 ， 我 们 的 worker 在 我 们 的 体系 结构 中 代表 了 一 个 临时 节点 ， 
此 ， 它 的 套 接 字 应 连接 到 远程 节点 ， 而 不 是 侦 听 传 入 连接 。 这 正 是 我 们 
在 worker 中 所 做 的 ， 我 们 创建 了 两 个 套 接 字 : 


e@ 连接 到 ventilator 的 PULL 套 接 字 
e 用 于 接收 任务 连接 到 接收 器 的 PUSH 套 接 字 ， 用 于 传播 结果 
除 此 之 外 ， 我 们 的 worker 完成 的 工作 非常 简单 : 对 于 收 到 的 每 条 消息 ， 我们 近代 


它 包 含 的 一 批 单词 ， 然 后 对 每 个 单词 计算 SHA1 校 验 和 ， 并 尝试 将 其 与 针对 消息 传 
递 的 searchHash 进行 匹配 。 当 找到 匹配 时 ， 结 果 被 转发 到 接收 器 。 


实现 sink 
对 于 我 们 的 例子 来 说 ， 接 收 器 是 一 个 非常 基本 的 结果 收集 器 ， 它 只 是 将 worker 接 
收 的 消息 打印 到 控制 台 。 文件 sink.js 的 内 容 如 下 所 示 : 


const zmq = require('zmq'); 
const sink = zmq.socket('pull'); 
sink.bindSync("tcp://*:5017"); 


sink.on('message', buffer => { 


console.log('Message from worker: ', buffer.toString()); 


}); 


运行 应 用 


我 们 现在 准备 运行 我 们 的 应 用 程序 ; 让 我 们 开始 几 个 worker 和 sink 


node worker 
node worker 
node sink 


然后 启动 ventilator ， 指 定 要 生成 的 单词 的 最 大 长 度 以 及 我 们 希望 匹配 
的 SHA1 校 验 和 。 以 下 是 参数 的 示例 列表 : 


node ventilator 4 f8e966d1e207d02c44511a58dccff2f5429e9a3b 


当 和 运行 上 述 命令 时 ， ventilator 将 开始 生成 所 有 可 能 的 单词 ， 其 长 度 至 多 为 四 
个 字符 ， 并 将 它们 分 配给 我 们 开始 的 工作 人 员 ， 以 及 我 们 提供 的 校 验 和 。 计 算 结果 
(如 果 有 的 话 ) 将 显示 在 接收 器 应 用 程序 的 终端 中 。 


请 求 /回复 模式 
处 理 消息 传递 系统 通常 意味 着 使 用 单 向 异步 通信 ;发 布 /订阅 就 是 一 个 很 好 的 例子 。 


单 向 通信 可 以 在 并 行 性 和 效率 方面 给 我 们 带 来 巨大 的 优势 ， 但 单 靠 它们 无 法 解决 我 
们 所 有 的 集成 和 通信 问题 。 有 时 候 ， 一 个 很 好 的 请 求 / 回 复 模 式 可 能 只 是 这 项 工作 的 
完美 工具 。 因 此 ， 在 所 有 那些 我 们 拥有 异步 单 向 通道 的 情况 下 ， 知 道 如 何 构建 一 个 
允许 我 们 以 请 求 /回复 方式 交换 消息 的 模式 是 很 重要 的 。 这 正 是 我 们 接 下 来 要 学 习 的 


内 容 。 


关联 ID 


我 们 将 要 学 习 的 第 一 个 请 求 /回复 模式 称 为 关联 ID， 它 表示 在 单 向 通道 之 上 构建 请 
求 /回复 模式 的 基本 内 容 。 


该 模式 包括 标记 每 个 请 求 的 标识 符 ， 然 后 由 接收 方 附加 到 响应 中 ; 通过 这 种 方式 ， 
请 求 的 发 送 者 可 以 关联 这 两 个 消息 并 将 响应 返回 给 正确 的 处 理 程 序 。 这 优雅 地 解决 
了 存在 单 向 异步 通道 的 问题 ， 消 息 可 以 随时 在 任何 方向 传播 。 我 们 来 看 看 下 图 中 的 
例子 : 
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前 面 的 场景 显示 了 如 何 使 用 关联 ID 使 我 们 能 够 将 每 个 响应 与 正确 的 请 求 进行 匹 
配 ， 即 使 这 些 响 应 是 以 不 同 的 顺序 发 送 和 接收 的 。 


使 用 关联 实现 请 求 /答复 模式 


现在 让 我 们 开始 通过 选择 最 简单 类 型 的 单 向 通道 (一 个 是 点 对 点 ( 它 直接 连接 系统 
的 两 个 节点 ) 和 一 个 全 双 工 (消息 可 以 双向 传输 ) ) 来 进行 尝试 。 


关于 管道 连接 ， 我 们 可 以 找到 例如 WebSockets : 它们 在 服务 器 和 浏览 器 之 间 建 
立 点 对 点 连接 ， 并 且 消 息 可 以 以 任何 方向 传播 。 另 一 个 例子 是 使 

用 child_process.fork() 生成 子 进程 时 创建 的 通信 通道 。 我 们 应 该 已 经 知道 

了 ， 我 们 在 chapter9-Advanced Asynchronous Recipes 中 看 到 了 这 个 APl。 这 
个 通道 也 是 异步 的 : 它 只 将 父 进程 连接 到 子 进程 ， 并 允许 消 息 以 任何 方向 传播 。 这 
可 能 是 这 个 类 别 的 最 基本 的 渠道 ， 所 以 这 就 是 我 们 下 一 个 例子 中 要 用 到 的 。 


下 一 个 应 用 程序 的 计划 是 构建 一 个 抽象 ， 以 包装 在 父 进 程 和 子 进程 之 间 创 建 的 通道 
隧道 。 这 个 抽象 应 该 提供 一 个 请 求 /回复 通信 隧道 ， 通 过 用 一 个 关联 ID 自动 标记 
每 个 请 求 ， 然 后 将 任何 传 入 回复 的 ID 与 等 待 响 应 的 请 求 处 理 程序 列表 进行 匹配 。 


从 Chapter9-Advanced 多 Recipes 中 ， 我 们 应 该 记 住 父 进程 可 以 使 
用 两 个 方法 访问 带 有 子 进 程 的 通 


e child.send(message) 
e child.on('message',callback) 


以 类 似 的 方式 ， 子 进程 可 以 使 用 以 下 方式 访问 父 进 程 的 通道 : 


e process.send(message) 
e process.on('message',callback) 


这 意味 着 父 进程 中 可 用 的 隧道 的 API 与 子 进程 中 可 用 的 隧道 的 API 相同 ; 这 将 允 
许 我 们 建立 一 个 通用 的 方法 ， 以 便 可 以 从 通道 的 两 端 发 送 请 求 。 


抽象 request 


我 们 通过 考虑 负责 发 送 新 请 求 的 部 分 开始 构建 这 个 抽象 请 求 ; 让 我 们 创建 一 个 名 
为 request.js 的 新 文件 : 


const uuid = require('node-uuid'); 


module.exports = channel => { 
const idToCallbackMap = {}; // [1] 


channel.on('message', message => { // [2| 
const handler = idToCallbackMap[message.inReplyTol]; 
if(handler) { 
handler (message. data); 
} 
}); 


return function sendRequest(req, callback) { // [3] 
const correlationId = uuid.v4(); 
idToCallbackMap[correlationId] = callback; 
channel. send({ 

type: 'request', 


data: req, 
id: correlationId 
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}; 
}; 


这 就 是 我 们 的 抽象 请 求 的 工作 原理 : 


1. 看 request() 函数 。 该 模式 的 神奇 之 处 在 于 idTocallbackMap 变量 ， 它 存 
储 了 传 出 请 求 与 其 回复 处 理 程序 之 间 的 关联 。 

2. 一 旦 工厂 被 调用 ， 我 们 所 做 的 第 一 件 事 就 是 开始 监听 收 到 的 消息 。 如 果 消 息 的 
关联 ID (包含 在 inReplyTo 属性 中 ) 与 idTocallbackMap 变量 中 包含 的 
任何 ID 相 匹 配 ， 我 们 知道 我 们 刚 收 到 一 个 回复 ， 因 此 我 们 获得 了 对 相关 响应 
处 理 程序 的 引用 ， 并 且 用 消息 中 包含 的 数据 。 

3. 最 后 ， 我 们 返回 我 们 将 用 来 发 送 新 请 求 的 函数 。 其 工作 是 使 用 node-uuid 生 成 
关联 ID ， 然 后 将 请 求 数据 包装 起 来 ， 并 指定 关联 ID correlationId 和 消息 
类 型 type 。 


这 就 是 request 模块 ; 让 我 们 转 到 下 一 部 分 。 


抽象 reply 


我 们 距 实 现 完整 的 request/reply 模式 只 有 一 步 之 过 ， 所 以 让 我 们 看 
看 request.js 模块 的 对 应 的 模块 是 如 何 工 作 的 。 我 们 创建 另 一 个 名 
为 reply.js 的 文件 ， 它 将 包含 答复 处 理 程 序 : 


module.exports = channel => 


return function registerHandler(handler) { 
channel.on('message', message => { 
if (message.type !== 'request') return,; 


handler (message.data, reply => { 
channel .send({ 
type: 'response', 
data: reply, 
inReplyTo: message.id 
}); 
}); 
}); 
}; 
}; 


我 们 的 reply 模块 又 是 一 个 工厂 ， 它 返回 一 个 函数 来 注册 新 的 答复 处 理 程序 。 这 
是 在 注册 新 处 理 程序 时 发 生 的 情况 : 


1. 我 们 开始 监听 传 入 的 请 求 ， 当 我 们 收 到 请 求 时 ， 我 们 立即 通过 传递 消息 的 数据 
和 回调 元 数 来 收集 处 理 程序 的 回复 来 调用 处 理 程 序 。 

2. handler 程序 完成 其 工作 后 ， 它 将 调用 我 们 提供 的 回调 ， 并 返回 其 答复 。 然 
后 我 们 通过 附加 请 求 的 关联 ID ( inReplyTo 属性 ) 来 构建 ， 然 后 我 们 将 所 
有 内 容 都 放 回 到 隧道 中 。 


关于 这 种 模式 的 惊人 之 处 在 于 ， 在 Node.js 中 ， 它 非常 容 匈 ; 我 们 所 有 的 东西 都 
是 异步 的 ， 所 以 建立 在 单 向 通道 之 上 的 异步 请 求 /回复 通信 和 与 其 他 任何 异步 操作 并 没 
有 太 大 的 不 同 ， 特 别 是 当 我 们 构建 一 个 抽象 方法 来 隐藏 其 实现 细节 时 。 


尝试 运行 完整 的 request/reply 模 块 


现在 我 们 准备 尝试 运行 我 们 新 的 弄 步 request/reply 模 块 。 让 我 们 在 一 个 名 
为 replier.js 的 文件 中 创建 一 个 示例 replier 


const reply = require('./reply')(process); 


reply((req, cb) => { 
setTimeout(() => { 
cb({sum: req.a + req.b}); 
}, req.delay); 
}); 


我 们 的 replier 只 需 计 算 两 个 接收 到 的 数字 之 间 的 和 ， 并 在 某 个 延迟 (也 在 请 求 
中 指定 ) 之 后 返回 结果 。 这 将 允许 我 们 验证 响应 的 顺序 也 可 能 与 我 们 发 送 请 求 的 顺 
序 不 同 ， 以 确认 我 们 的 模块 正在 工作 。 


完成 示例 的 最 后 一 步 是 在 名 为 requestor.js 的 文件 中 创建 请 求 者 ， 该 文件 还 具 
有 使 用 child_process.fork() 启动 replier 的 任务 : 


const replier = require('child process') 
.fork( ${_ dirname}/replier.jJs ); 
const request = require('./request')(replier); 


request({a: 1, b: 2, delay: 500}, res => { 
console.log('1+2= ', res.sum); 
// 这 应 该 是 我 们 收 到 的 最 后 一 个 回复 ， 所 以 我 们 关闭 了 channel 
replier.disconnect(); 


}); 

request({a: 6, b: 1, delay: 100}, res => { 
console.1og('6+1= ', res.sum); 

}); 


请 求 者 启动 replier ， 然 后 将 其 引用 传递 给 我 们 的 请 求 模 块 。 然 后 ， 我 们 运行 一 
些 示例 请 求 ， 并 验证 它们 与 收 到 的 响应 之 间 的 关联 是 否 正确 。 


要 试用 这 个 示例 ， 只 需 局 动 requestor.js 模块 ; 输出 应 该 类 似 于 以 下 内 容 : 
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这 证 实 了 我 们 的 模式 完美 地 工作 ， 并 且 reply 与 他 们 自己 的 请 求 正确 地 相关 联 ， 
不 管 他 们 以 什么 顺序 发 送 或 接收 。 


返回 地 址 


关联 几 [ 轿 症 在 单 向 信道 之 上 创建 请 求 /回复 通信 的 基本 模式 ; 然而 ， 当 我 们 的 消息 

架构 拥有 多 个 通道 或 队列 ， 或 者 可 和 A "在 这 些 情况 下 ， 
除了 关联 ID 之 外 ， 我 们 还 需要 知道 返回 地 址 ， 这 是 允许 回复 者 将 回复 发 送 回 请 求 
的 原始 发 件 人 的 一 条 信息 。 


在 AMQP 中 实现 返回 地 址 模式 


在 AMQP 中 ， 返 回 地 址 是 请 求 者 正在 侦 听 传 入 回复 的 队列 。 因为 响应 只 能 由 一 个 请 
， 所 以 队列 是 私有 的 并 且 不 在 不 同 的 使 用 者 之 间 共 享 是 很 重要 的 。 从 这 些 

属性 中 ， 我 们 可 以 推断 出 我 们 将 需要 一 个 暂时 队列 ， 将 其 作用 于 请 求 者 的 连接 ， 并 
且 应 答 者 必须 与 返回 队列 建立 点 对 点 通信 ， 以 便 能 够 传递 其 响应 。 


以 下 为 我 们 提供 了 这 种 情况 的 一 个 例子 : 
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为 了 在 AMQP 上 创建 请 求 /应 答 模 式 ， 我 们 需要 做 的 就 是 在 消息 属性 中 指定 响应 队 
列 的 名 称 ; 这 样 ， 回 复 者 知道 应 答 消 息 必 须 传 送 到 哪里 。 这 个 理论 看 起 来 非常 简 
单 ， 所 以 我 们 来 看 看 如 何在 申 正 的 应 用 程序 中 实现 它 。 


实现 request 


现在 让 我 们 在 AMQP 之 上 构建 一 个 请 求 /回复 抽象 。 我 们 将 使 用 RabbitMQ 作为 代 
理 ， 但 任何 兼容 的 AMQP 代理 都 应 该 可 以 完成 这 项 工作 。 让 我 们 从 请 求 开 始 
(在 amqpRequest.js 模块 中 实现 ) ; 我 们 只 会 在 这 里 展示 相关 的 部 分 。 


第 一 件 事 情 是 我 们 如 何 创建 队列 来 保存 响应 ; 看 以 下 代码 : 


channel.assertQueue('', {exclusive: true}); 


当 我 们 创建 队列 时 ， 我 们 没有 指定 任何 名 字 ， 这 意味 着 我 们 会 选择 一 个 随机 的 名 
字 ; 除 此 之 外 ， 队 列 是 独占 的 ， 这 意味 着 它 被 绑 定 到 活动 的 AMQP 连接 ， 并 且 在 连 
接 关闭 时 它 将 被 销毁 。 没 有 必要 将 队列 绑 定 到 交换 机 ， 因 为 我 们 不 需要 任何 路 由 或 
分 配 到 多 个 队列 ; 这 意味 着 消息 必须 直接 传递 到 我 们 的 响应 队列 中 。 


接 下 来 ， 让 我 们 看 看 我 们 如 何 产 生 一 个 新 的 请 求 : 


class AMQPReduest { 


/EE 


request(queue, message, callback) { 
const id = uuid.v4(); 
this.idToCallbackMap[id] = callback; 
this.channel.sendToQueue(queue, new Buffer(JSON.stringify(me 


ssage)), { 
correlationId: id, 


replyTo: this.replyQueue 

}); 
} 

} 


request() 方法 接受 请 求 队列 的 名 称 和 要 发 送 的 消息 作为 输入 。 正 如 我 们 在 前 一 
节 中 所 了 解 的 ， 我 们 需要 生成 一 个 关联 ID 并 将 其 关联 到 回调 函数 。 最 后 ， 我 们 发 
送 消息 ， 指 定 correlationId 和 replyTo 属性 作为 元 数据 。 


有 趣 的 是 ， 为 了 发 送 消息 ， 我 们 使 用 channel.sentToQueue() API 而 不 
是 channel.publish() ;这 是 因为 我 们 不 希望 使 用 交换 机 来 实施 任何 发 布 /订阅 
分 发 ， 而 是 直接 进入 目标 队列 的 更 基本 的 点 对 点 传递 。 


在 AMQP 中 ， 我 们 可 以 指定 一 组 要 传递 给 消费 者 的 属性 (或 元 数据 ) 以 及 主要 


消息 。 


我 们 的 amqpRequest 类 的 最 后 一 个 重要 部 分 是 我 们 监听 传 入 响应 的 地 方 : 


_listenForResponses() { 

return this.channel.consume(this.replyQueue, msg => { 
const correlationId = msg.properties.correlationId; 
const handler = this.idToCcallbackMap[correlationId]; 
if (handler) { 

handler(JSON.parse(msg.content.toString())); 

} 

}, i 


noAck: true 


}); 
} 


在 前 面 的 代码 中 ， 我 们 监听 我 们 明确 创建 的 用 于 接收 响应 的 队列 中 的 消息 ， 然 后 为 
每 个 传 入 消息 读 取 关 联 ID ， 并 将 它 与 等 待 答复 的 处 理 程序 列表 进行 匹配 。 一 旦 我 
们 有 了 处 理 程序 ， 我 们 只 需要 通过 传递 reply 消息 来 调用 它 。 


实现 reply 
这 就 是 amqpRequest 模块 。 现 在 是 时 候 在 名 为 amqpReply,js 的 新 模块 中 实现 响 
应 对 象 。 


在 这 里 ， 我 们 必须 保存 传 入 请 求 的 队列 ; 我 们 可 以 为 此 使 用 一 个 简单 的 持久 队列 。 
我 们 不 会 展示 这 部 分 ， 因 为 它 在 所 有 AMQP 都 具有 。 我 们 感 兴趣 的 是 看 到 的 是 我 们 
如 何 处 理 请 求 ， 然 后 将 其 发 送 回 正确 的 队列 : 


class AMQPReply { 
CA 
handljleRequest(handler) { 
return this.channel.consume(this.queue, msg => { 
const content = JSON.parse(msg.content.toString()); 
handler(content, reply => { 
this.channel.sendToQueuel( 
msg.properties.replyTo，// 这 里 保存 的 请 求 消息 的 队列 
new Buffer(JSON.stringify(reply)), { 
correlationId: msg.properties.correlationId 
} 
); 
this.channel.ack(msg); 
}); 
}); 
} 


在 发 送 reply 时 ， 我 们 使 用 channel.sendToQueue() 将 消息 直接 发 布 到 消息 
的 replyTo 属性 (我们 的 返回 地 址 ) 中 指定 的 队列 中 。 我 们 的 amqpReply 对 象 
的 另 一 个 重要 任务 是 在 回复 对 象 中 设置 correlationId ， 以 便 接 收 者 可 以 将 消息 
与 挂 起 的 请 求 列 表 进 行 匹 配 。 


实现 requestor 和 replier 


现在 一 切 都 准备 好 了 ， 让 我 们 首先 尝试 一 下 ， 但 首先 ， 让 我 们 构建 一 个 样 
本 requestor 和 replier ， 从 模块 replier.js 开始 : 


const Reply 
const reply 


= require('./amqpReply'); 
= Reply('requests_ queue' ) ， 
reply.initialize().then(() => { 
reply.handleRequest((req, cb) => { 
console.log('Request received', req); 
cb({sum: req.a + req.b}); 
}); 
}); 


可 以 看 到 我 们 构建 的 模块 如 何 处 理 关 联 ID 和 返回 地 址 。 我 们 所 需要 做 的 就 是 初始 
化 一 个 新 的 reply 对 象 ， 指 定 我 们 希望 接收 我 们 请 求 的 队列 的 名 称 

( requests_queue ) 。 我 们 的 样本 重新 计算 接收 到 的 两 个 数字 的 总 和 作为 输 
入 ， 并 使 用 提供 的 回调 函数 返回 结果 。 


另 一 方面 ， 我 们 在 requestor .js 文件 中 实现 了 一 个 样 例 request 


onst req = ('./amqpRequest' )(); 


redq.initialize().then(() => { 





for (let i = 0 
sendRandomRequest(); 
} 
}); 
t() i 
= .round( .random() * 和 
:onst = .round( .random() * 和 
req.request('requests queue', {a: a, b: b}, 
res => { 
.10g( ${a} + ${b} = ${res.sum} ); 
} 
); 


} 


我 们 的 示例 请 求 程 序 将 106 个 随机 请 求 发 送 到 requests_queue 队列 。 在 这 种 情 
况 下 ， 有 趣 的 是 我 们 完美 地 完成 了 它 的 工作 ， 隐 藏 了 异步 请 求 /应 答 模式 的 所 有 细 
革 


现在 ， 要 尝试 系统 ， 只 需 运 行 replier 程序 模块 和 requestor 模块 : 


node replier 
node requestor 


xX ..orrelation_id (zsh) = 
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我 们 会 看 到 requestor 发 布 的 一 系列 操作 ， 然 后 由 replier 收 到 ， 然 后 回 
复 response 。 


现在 我 们 可 以 尝试 其 他 实验 。 一 旦 replier 第 一 次 启动 ， 它 会 创建 一 个 持久 队 
列 ; 这 意味 着 ， 如 果 我 们 现在 停止 并 再 次 运行 请 求 者 ， 则 不 会 有 任何 请 求 丢 失 。 所 
有 消息 都 将 存储 在 队列 中 ， 直 到 重新 启动 重新 启动 。 


这 些 都 是 因为 我 们 使 用 了 AMQP 。 为 了 测试 这 个 假设 ， 我 们 可 以 尝试 启动 两 个 或 
更 多 的 replier 实例 ， 并 观察 它们 之 间 的 负载 平衡 请 求 。 这 是 有 效 的 ， 因 为 每 
次 requestor 启动 时 ， 它 将 自己 作为 一 个 监听 器 附加 到 同一 个 持久 队列 中 ， 结 
果 ， 代 理 将 负载 均衡 队列 中 所 有 消费 者 的 消息 同步 到 这 里 。 


总 结 
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我 们 已 经 到 了 本 章 的 结尾 。 在 这 里 ， 我 们 了 解 了 最 重要 的 消息 传递 和 集成 模式 以 及 
它们 在 分 布 式 系 统 设计 中 扮演 的 角色 。 我 们 熟悉 了 三 种 主要 类 型 的 消息 交换 模式 : 
发 布 /订阅 ， 管 道 和 请 求 /回复 ， 并 且 我 们 看 到 了 如 何 使 用 对 等 体系 结构 或 消息 代理 
来 实现 它们 。 我 们 分 析 了 他 们 的 优 缺点 ， 我 们 发 现 通过 使 用 AMQP 可 以 给 我 们 提供 
更 大 的 便捷 ， 我 们 可 以 实现 可 和 和 可 扩展 的 应 用 程序 ， 而 只 需 很 少 的 开发 工作 ， 但 
需要 花费 更 多 系统 来 维护 和 扩展 我 们 应 用 程序 。 此 外 ， 我 们 看 到 了 gMQ 如 何 让 我 
们 构建 分 布 式 系统 ， 以 便 我 们 可 以 全 面 控制 架构 的 每 个 方面 ， 根 据 自 己 的 需求 对 其 
属性 进行 微调 。 


本 章 是 本 书 的 最 后 一 章 ， 到 现在 为 止 ， 我 们 应 该 有 一 个 基本 概念 ， 以 及 基本 了 解 
了 Node.js 可 以 用 在 我 们 的 项 目 中 应 用 的 模式 和 技术 。 我 们 还 应 该 更 深入 地 了 
解 Node.js 的 开发 方式 ， 以 及 它 的 优 缺 点 。 在 整 本 书 中 ， 我 们 也 有 机 会 使 用 到 很 
多 别 的 开发 人 员 开 发 的 包 和 库 和 解决 方案 。 最 后 ， 这 是 Node.js 最 漂亮 的 一 个 方 
面 : 它 的 人 员 ， 一 个 人 人 都 可 以 在 回馈 某 些 东西 时 发 挥 作 用 的 社区 。 


希望 有 一 天 你 也 可 以 给 Node.js 社区 作出 贡献 。 


Node.js-Design-Patterns 


Welcome to the Node.js Platform 
最 新 ES 语法 


reactor 模 式 


reactor 模 式 是 Node.js 异步 编程 的 核心 模块 ， 其 核心 概念 
是 : 单线 程 、 非 阻 塞 I/0 。 


e。 非 阻塞 I/0 :在 这 种 机 制 下 ， 后 续 代 码 块 不 会 等 到 I/0 请 求 数据 的 返回 之 后 
再 执行 。 如 果 当 前 时 刻 所 有 数据 都 不 可 用 ， 函 数 会 先 返回 预先 定义 的 常量 值 
(如 undefined )， 表 明 当 前 时 刻 暂 无 数据 可 用 。 例 如 ， 在 Unix 操作 系统 
中 ， fcnt1() 函数 操作 一 个 已 存在 的 文件 描述 符 ， 改 变 其 操作 模式 
为 非 阻塞 I/0 (通过 0_NONBLOCK 状态 字 )。 一 旦 资源 是 非 阻塞 模式 ， 如 果 读 
取 文 件 操作 没有 可 读 取 的 数据 ,或 者 如 果 写 文件 操作 被 阻塞 , 读 操 作 或 写 操 作 返 
回 -1 和 EAGAIN 错误 。 非 阻塞 TI/0 最 基本 的 模式 是 通过 轮 询 获取 数据 ， 这 

也 叫做 忙 -等 模型 。 看 下 面 这 个 例子 ， 通 过 非 阻塞 TI/0 和 轮 询 机 制 获 取 I/0 的 
结果 。 


事件 多 路 复 用 


let socketA, pipeB; 

wachedList.add(socketA, FOR_ READ); 
wachedList.add(pipeB, FOR_READ); 

Ss = demultiplexer .watch(wachedList)) { 


foreach(event ， in a 


data = event . resource. a 
Ji (ot === _RESOURCE on 


es Oe Eee 
} Ps 要 


和 
} 
} 
} 


Node.js Essential Patterns 


回调 模式 


回调 模式 分 为 异步 CPS 风 格 和 同步 CPS 风 格 、 原 生 JS 也 可 以 实现 回调 模式 


Funeeronmada(am be 
return a + b; 


} 


改 为 CPS 风 格 : 


function add(a, b, callback) { 
callback(a + b); 
} 


异步 CPS : 


funetronnadaienonAsyne(a eo eallback nt 
setTimeout(() => callback(a + b), 100); 


Zalgo 
解决 方案 : 


@ 使 用 同步 API 
e@ 廷 时 处 理 


Node.js 的 惯用 风格 
。 错误 处 理 总 在 最 前 
@ 错误 传播 
e。 茶 些 异常 不 太 好 捕获 


模块 系统 及 其 模式 


e@ 模块 缓存 原理 


const reduire = (moduleName) => { 
console.log( Require invoked for module: ${moduleName} ) ， 
const id = reguire.resolve(moduleName); 
// 是 否 命中 缓存 
if (require.cache[id]) { 
return regquire.cache[id].exports; 
} 
// 定义 module 
const module = { 
exports: {}, 
id: id 


// 新 模块 引入 ， 存 入 缓存 
require.cache[id] = module; 
// 加 载 模块 
loadModule(id, module, reqguire); 
// 返回 导出 的 变量 
return module.exports 
}; 
require.cache = {}; 
regquire.resolve = (moduleName) => { 
/* 通过 模块 名 作为 参数 resoLve 一 个 完整 的 模块 */ 


re 


。 模块 循环 依赖 
。 模块 寻找 的 算法 


e EventEmitter 类 如 何 让 任意 对 象 可 观察 ， 拓 展 EventEmitter 类 : 


const EventEmitter = require('events').EventEmitter,; 

const fs = require('fs'); 

class FindPattern extends EventEmitter { 
constructor(regex) { 


super(); 
this.regex = regex; 
this.files = []; 


} 
addFile(file) { 
this.files.push(file); 
return this; 
} 
find() { 
this.files.forEach(file => { 
fs.readFile(file, 'utf8', (err, content) => { 
If (err) { 
return this.emit('error', err); 
} 
this.emit('fileread', file); 
let match = null; 
If (match = content.match(this.regex)) { 
match.forEach(elem => this.emit('found', file, elenm)); 
} 
}); 
}); 
return this; 
} 
} 


Asynchronous Control Flow Patterns with 
Callbacks 


如 何 写 更 优雅 的 回调 : 


e。 避免 回调 地 狱 
e。 从 代 模 式 


function iterate(index) { 
If (index === tasks.length) { 
return finish(); 


const task = tasks[index]; 
task(function() { 
iterate(index + 1); 
; 
function fin sh() { 
, // 过 式 . 的 扣 
iterate(0); 
@ 并 发 处 理 
Asynchronous Control Flow Patterns with ES2015 
and Beyond 
这 一 章 主要 讲 的 是 如 何 用 Promise 、 Generator ， 以 及 async await 简化 异 
步 O 


几 种 方式 各 有 优 劣 : 


Sum Up 








Rsync (library) 








@ ”提供 与 第 三 方 库 最 佳 的 
兼容 性 

@ ”允许 ad hoc 和 更 高 级 
算法 的 创建 

@ 简化 最 常见 的 控制 流 模 
式 

@ 还 是 一 个 





方案 Pros Cons 
扁平 的 JavaScript @ 不 需要 任何 库 或 技术 可 能 需要 额外 的 代码 和 相对 
(Plain JavaScript) @ ”提供 最 好 的 性 能 复杂 的 算法 





@ 引入 一 个 外 部 依赖 
@ ”对 于 高 级 的 流 来 说 还 是 


不 够 的 








callback-based 的 
解决 方案 
@ 性 能 好 





Promises 


Generators 


@ ”大 大 简化 最 常见 的 控制 
流 模式 

@ 和 鲁 棒 的 error 处 理 

@ ES2015 规范 的 一 部 分 

@ 确保 onFullfilled 和 
onRejected 的 延迟 调 
用 

@ 使 得 非 阻塞 API 看 起 来 
像 阻 塞 一 样 

@ ES2015 规范 的 一 部 分 


@ 需要 promisify 
callback-based 的 
APIs 


@ 引入 以 小 的 性 能 损失 





@ 需要 一 个 辅助 的 控制 流 
库 

@ 依然 需要 callbacks 
或 promises 来 实现 非 
顺序 流 

@ 需要 thunkify 或 
promisify 非 
generator-based 的 


APIS 





Async await 








@ 使 得 非 阻 塞 API 看 起 来 
像 阻塞 一 样 
@ 简洁 直观 的 语法 





@ 在 原生 的 JavaSscript 
和 Node .js 还 不 能 使 用 
今天 使 用 需要 Babel 或 
其 他 翻译 器 和 一 些 配置 
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Coding with Streams 


Streams 和 Buffer 


e@ 空间 效率 更 高 
。 时 间 效 率 更 高 


实现 可 读 的 Streams 


const stream 
const Chance 


require( stream: ); 
require('chance' ); 


const chance = new Chance( ) ， 


class RandomStream extends stream.Readable { 
constructor(options) { 
super (options); 


_read(size) { 
const chunk = chance.string(); //[1] 
console.log( Pushing chunk of size: ${chunk.length} ); 
this.push(chunk, 'utf8'); //[2] 
If (chance.bool({ 
likelihood: 5 
})) { //L3] 
this.push(null); 
} 
} 
} 


module.exports = RandomStream; 


实现 可 写 的 Streams 


const stream = require('stream'); 
const fs = require('fs'); 

const path = require( "path ' ) ， 
const mkdirp = require('mkdirp"'); 


class ToFileStream extends stream.Writable { 
constructor() { 
super(t{ 
objectMode: true 
}); 
} 


_write(chunk, encoding, callback) { 
mkdirp(path.dirname(chunk.path), err => { 
if (err) { 
return callback(err); 
} 
fs.writeFile(chunk.path, chunk.content, callback ); 
}); 
} 
} 


module.exports = ToFileStream; 


双重 的 Streams 


const stream = require('stream'); 
const util = require( util )， 


class ReplaceStream extends stream.Transform { 
constructor(searchSstring, replacestring) { 
super(); 
this.searchSstring = searchSstring; 
this.replaceString = replaceString; 
this.tailPiece = ''，; 


} 


_transform(chunk, encoding, callback) { 
const pieces = (this.tailPiece + chunk) Zod EM 
.Split(this.searchstring); 
const lastPiece = pieces[pieces.length - 1]; 
const tailpieceLen = this.searchString. length - 1; 


this.tailpPiece = lastPiece.slice(-tailpPieceLen); Ya 
pieces[pieces.length - 1] = lastPiece.slice(0,-tailPpieceLen) 


this.push(pieces.join(this.replaceString)); ZAR 
callback( ); 
} 


_fljush(callback) { 
this.push(this. tailpPiece); 


callback( ); 


} 
} 


module.exports = ReplaceStream; 


开 步 


Streams 在 异步 编程 有 很 广泛 的 运用 ， 实 现 一 个 无 序 并 行 的 Streams : 


const stream = require('stream'); 


class ParallelStream extends stream,.Transform { 
constructor(userTransform) { 
super({objectMode: true}); 
this.userTransform = userTransform; 
this.running = 0; 
this.terminateCallback = null; 


} 


_transform(chunk, enc, done) { 
this.running++; 
this.userTransform(chunk, enc, this._onComplete.bind(this), 
this.push.bind(this)); 
done( ); 


} 


_fljush(done) { 
if(this.running > 0) { 
this.terminateCallback = done; 
} else { 
done( ); 
} 


} 


_onComplete(err) { 
this.running--; 
if(err) { 
return this.emit('error', err); 


} 
if(this.running === 0) { 

this,.terminateCallback && this.terminateCallback(); 
} 


} 
} 


module.exports = ParallelStream; 


实现 组 合 的 Streams 


使 用 诸如 multipipe 之 类 的 库 ， 我 们 可 以 通过 组 合 一 些 核心 库 中 已 有 
的 Streams (文件 combinedSstreams ,js ) 来 轻松 地 构建 组 合 的 Streams 


const zj]lib = require('zl1ib"); 

const crypto = require('crypto'); 

const combine = require('multipipe'); 
module.exports.compressAndEncrypt = password => { 


je 


return combine( 
zlib.createGzip(), 
crypto.createCipher('aes192', password) 


A 


module.exports.decryptAndDecompress = password => { 


}? 


De 


return combinel( 
crypto.createDecipher('aes192', password), 
zlib.createGunzip() 


); 


sign Patterns 


工厂 模式 ( Factory ) : 通过 stampit 可 以 实现 组 合 的 工厂 函数 ， 在 Node.js 
中 这 种 模式 有 广泛 应 用 ， 例 如 Node js 的 核心 库 http， 也 是 提供 了 工厂 创建 实例 
的 方式 。 


揭示 构造 模式 ( Revealing constructor ) : 揭示 构造 函数 模式 接受 执行 函 
数 executor 作 为 参数 ， 这 个 函数 被 提供 给 构造 函数 ， 并 在 内 部 调用 。 这 种 模式 

也 在 Node.js 有 广泛 应 用 。 最 为 显著 的 是 原生 Promise 使 用 了 这 一 种 模式 。 也 可 
以 通过 揭示 构造 函数 模式 创建 只 读 的 event emitter， 可 以 较 好 地 保证 函数 内 部 

安全 性 。 


代理 模式 ( Proxy ) 、 装 饰 者 模式 ( Decorator ) 都 常常 使 用 对 象 增强 和 
对 象 组 合 的 方式 书写 。 其 各 有 优 缺点 ， 对 象 增强 会 改变 主体 对 象 ， 对 象 组 合 的 
写法 又 比较 繁 开 。 他 们 都 有 广泛 的 应 用 ， 例 如 著名 的 Mongoose 大 量 使 用 代理 
模式 。AOP 编 程 方式 也 是 代理 模式 的 应 用 。hooks 这 个 库 则 是 AOP 的 完美 体 
现 。 装 饰 者 模式 的 应 用 也 很 多 ， 如 levelup 的 许多 插件 则 使 用 了 装饰 者 模式 。 而 
由 于 JavaScript 语 言 的 动态 性 ， 实 现 装 饰 者 模式 则 比较 简单 。 


适配器 模式 ( Adapter ) : 允许 我 们 用 不 同 的 接口 去 访问 对 象 的 功能 ， 它 适 
配 一 个 对 象 ， 以 便于 它 可 以 被 不 同 接口 调用 。 适 配器 模式 也 有 所 应 用 场景 ， 例 
如 我 们 可 以 对 核心 库 做 上 层 封装 ， 并 且 适 配对 应 的 核心 库 的 功能 ， 书 上 的 
fsAdapter 则 是 这 个 模式 的 较 好 的 体现 。 


策略 模式 ( Strategy ) 、 状 态 模式 ( State ) 和 模板 模式 

( Template ) :使 用 模式 来 简化 大 量 的 条 件 代 码 的 书写 ， 状 态 模式 类 似 于 策 
略 模式 ， 状 态 模 式 Context 的 策略 会 根据 State 的 变化 而 变化 。 而 模板 模式 其 实 
就 是 C++ 的 类 模板 在 JavaScript 的 体现 。 由 于 JavaScript 语 言 本 身 没 有 类 模板 这 
样 的 功能 。 通 过 在 一 个 类 的 方法 中 抛 出 异常 来 实现 一 个 抽象 类 和 上 庶 函 数 。 


中 间 件 模式 ( Middleware ) : 思想 源 于 拦截 过 滤器 模式 和 责任 链 模式 。 常 
见 的 Web 框 架 Express 和 Koa 都 广泛 使 用 中 间 件 模式 。 


@ 命令 模式 ( Command ) : 降低 了 对 象 之 间 的 耦合 度 ， 设 计 命 令 也 相对 简单 ， 
代码 解 耦 ， 但 是 使 用 命令 模式 可 能 导致 系统 命令 类 过 多 ， 这 是 命令 模式 的 一 大 
缺陷 。 


Writing Modules 


如 何 去 定 义 一 个 模块 


e 一 个 模块 应 该 具有 可 读 性 和 可 理解 性 ， 因 为 它 应 该 专注 于 一 件 事 
e 一 个 模块 被 表示 为 一 个 单独 的 文件 ， 使 得 其 更 容易 被 识别 
。 模块 可 以 更 容易 地 在 不 同 的 应 用 程序 中 复 用 


依赖 注入 


依赖 注入 (DI) 模式 可 能 是 软件 设计 中 最 容易 被 误解 的 概念 之 一 。 许 多 人 将 这 个 术 
语 与 框架 和 依赖 注入 容器 相关 联 ， 例 如 Spring (用 于 Java 和 C# ) 

或 Pimple (用 于 PHP ) ， 但 实际 上 它 是 一 个 很 简单 的 概念 。 依 赖 注 入 模式 背后 
的 主要 思想 是 由 外 部 实体 提供 输入 的 组 件 的 依赖 关系 。 


这 样 的 实体 可 以 是 客户 端 组 件 或 全 局 容器 ， 它 集中 了 系统 所 有 模块 的 关联 。 这 种 方 
法 的 主要 优点 是 解 厅 ， 特 别 是 对 于 取决 于 有 状态 实例 的 模块 。 使 用 DI， 从 外 部 接收 
每 个 依赖 项 ， 而 不 是 硬 编 码 到 模块 中 。 这 意味 着 模块 可 以 配置 为 其 中 的 依赖 关系 ， 
因此 可 以 在 不 同 的 上 下 文中 重用 。 


服务 定位 器 


服务 定位 器 核心 原则 是 拥有 一 个 中 央 注 册 中 心 ， 以 便 管理 系统 组 件 ， 并 在 模块 需要 
加 载 依 赖 时 作为 中 介 。 这 个 想法 是 要 求 服 务 定 位 器 所 连接 的 是 依赖 注入 模块 ， 而 不 
是 硬 编码 模块 。 通 过 使 用 服务 定位 器 ， 我 们 引入 了 对 它 的 依赖 关系 ， 它 连接 到 模块 
的 方式 决定 了 它们 的 耦合 程度 ， 其 可 重用 性 较 高 。 在 Node.js 中 ， 我 们 可 以 确定 
三 种 类 型 的 服务 定位 器 ， 区 分 它们 的 关键 因素 是 它们 连接 到 系统 各 个 组 件 的 方式 : 
分 为 硬 编码 依赖 服务 定位 器 、 依 赖 注入 服务 定位 器 和 全 局 注入 服务 定位 器 。 


服务 定位 器 的 基本 模式 : 


"Use strict"; 


module.exports = () => { 
const dependencies = {}; 
const factories = {}; 
const serviceLocator = {}; 


serviceLocator.factory = (name, factory) => { 
factories[name] = factory; 


}; 


serviceLocator.register = (name, instance) => { 
dependencies[name|] = instance,; 


}; 


serviceLocator.get = (name) => { 

If (I!dependencies[name]) { 
const factory = factories[name]; 
dependencies[name|] = factory && factory(serviceLocator); 
If (!dependencies[name]) { 

throw new Error('Cannot find module: ' + name)， 

} 

} 


return dependencies[namel]; 


}; 


return serviceLocator; 


J 


Advanced Asynchronous Recipes 


这 一 章 主要 讲 了 三 种 书写 异步 的 常见 模型 : 


章 
异步 引入 模块 并 初始 化 

在 高 并 发 的 应 用 程序 中 使 用 批 处 理 和 缓存 异步 操作 的 性 能 优化 

运行 与 Node .js 处 理 并 发 请 求 的 能 力 相悖 的 阻塞 事件 循环 的 同步 CPU 绑 定 
操作 


异步 初始 化 模块 
如 果 一 个 Node.js 模 块 需要 异步 初始 化 ， 可 以 有 以 下 两 种 解决 方案 : 一 是 在 开始 使 用 
模块 之 前 之 前 确保 模块 已 经 初始 化 ， 否 则 则 等 待 其 初始 化 。 二 是 使 用 预 初始 化 队列 


进行 初始 化 ， 在 初始 化 之 前 的 所 有 操作 均 放 入 预 初始 化 队列 中 ， 等 待 初始 化 完成 后 
取出 队列 中 的 任务 。 


@ 等 待 初 始 化 


// 模块 app. js 
const db = require('aDb'); // apDb 是 一 个 异步 模块 
const findAllFactory = require('./findAll'); 
db.on('connected', function() { 

const findAll = findAllFactory(db); 

// 之 后 再 执行 异步 操作 


J yp 


// 模块 findA11.js 
module.exports = db => { 
//db 在 这 里 被 初始 化 
return function findAll(type, callback) { 
db.findAll(type, callback ) ; 
} 
} 


e 预 初 始 化 队列 


const asyncModule = module.exports,; 


asyncModule.initialized = false; 

asyncModule.initialize = callback => { 

setTimeout(() => { 
asyncModule.initialized = true,; 
callback( ); 

}, 10000); 


}; 


asyncModule.tellMeSomething = callback => { 
process.nextTick(() => { 
if(!asyncModule.initialized) { 
return callback( 
new Error('I don\'t have anything to say right now') 


); 


callback(null, 'Current time is: ' + new Date()); 


}); 
}; 


批 处 理 和 缓存 


对 于 接口 请 求 量 较 大 的 API， 我 们 可 以 使 用 批 处 理 或 者 缓存 来 提升 接口 性 能 : 批 处 
理 指 的 是 在 调用 异步 函数 的 同时 在 队列 中 还 有 另 一 个 尚未 处 理 的 回调 ， 我 们 可 以 将 
回调 附加 到 已 经 运行 的 操作 上 ， 而 不 是 创建 一 个 全 新 的 请 求 。 缓 存 不 只 可 以 是 内 存 
中 的 变量 ， 还 可 以 是 数据 库 ， 甚 至 是 专门 的 缓存 服务 器 。 此 外 ， 使 用 缓存 需要 有 一 
定 的 策略 对 缓存 进行 淘汰 ， 例 如 LRU 。 


CPU-bound 任 务 


对 于 运 站 量 较 大 的 同步 的 CPU-bound 任 务 ， 可 能 造成 接口 的 阻 赛 。 解 决 方案 有 两 
种 : 一 种 是 使 用 异步 来 包装 同步 的 CPU-bound 任 务 ， 二 是 使 用 多 进程 ， 一 般 来 说 使 
用 Node.js 子 进程 ， 因 为 Node.js 自 带子 进程 模块 ， 并 且 可 以 使 用 相关 接口 进行 父子 
进程 的 管道 通信 ， 而 如 果子 进程 不 是 Node.js 进 程 ， 一 般 只 能 通过 标准 输入 输入 来 进 
行 父子 进程 的 通信 。 
如 何 父 子 进 程 进行 通信 : 

const EventEmitter = require('events ').EVentEmitter ; 


const ProcessPool = require('./processPool'); 
const workers = new ProcessPool( dirname + '/subsetSumWorker.js' 


2 


class SubsetSumFork extends EventEmitter { 
constructor(sum, set) { 


super(); 
this.sum = sum; 
this.set = set; 
} 
start() { 


workers.acquire((err, worker) => { // [II 
worker.send({sum: this.sum, set: this.set}); 


const onMessage = msg => { 
if (msg.event === 'end') { // [3] 
worker .removeListener('message', onMessage); 
workers.release(worker ); 


} 


this.emit(msg.event, msg.data); // [4| 


}; 


worker.on('message', onMessage); // |2| 
}); 
} 
} 


module.exports = SubsetSumFork; 
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cluster 模块 


cluster 模块 主 进程 负责 产生 大 量 进 程 ( worker ) ， 每 个 进程 代表 我 们 想 要 扩 
展 的 应 用 程序 的 一 个 实例 。 每 个 传 入 连接 然后 分 布 在 克隆 的 worker ， 分 散在 他 们 
的 负载 。 


const Cluster = require('cluster'); 
const os = require('os'); 


if(cluster.isMaster) { 
const cpus = os.cpus().length; 
Formm(ee = gog < cpus A 
cluster .fork( ) ， 


} 
} else { 
require('./app'); // [2] 


} 


零 宕 机 重 局 


当代 码 需 要 更 新 时 ， Node.js 应 用 程序 也 可 能 需要 重新 启动 。 因 此 ， 在 这 种 情况 
下 ， 拥 有 多 个 实例 可 以 帮助 维护 我 们 应 用 程序 的 可 用 性 。 当 我 们 不 得 不 故意 重新 启 
动 一 个 应 用 程序 来 更 新 它 时 ， 会 出 现 一 个 小 窗口 ， 在 这 个 窗口 中 应 用 程序 将 重新 启 
动 并 且 无 法 为 请 求 提 供 服务 。 如 果 我 们 正在 更 新 我 们 的 个 人 博客 ， 这 是 可 以 接受 
的 ， 但 对 于 具有 服务 水 平 协议 ( SLA ) 的 专业 应 用 程序 就 不 行 了 ， 或 者 作为 持续 
交付 过 程 的 一 部 分 经 常 更 新 的 专业 应 用 程序 。 解 决 方案 是 实现 零 宕 机 重新 启动 ， 更 
新 应 用 程序 的 代码 而 不 影响 其 可 用 性 。 


使 用 cluster 模块 ， 这 又 是 一 项 非常 简单 的 任务 ; 该 模式 包括 一 次 重启 一 
个 worker 。 这 样 ， 剩 余 的 worker 可 以 继续 操作 和 维护 可 用 应 用 程序 的 服务 。 


然后 ， 让 我 们 将 这 个 新 模块 添加 到 我 们 的 集群 服务 器 ; 我 们 所 要 做 的 就 是 添加 一 些 
由 主 进程 执行 的 新 代码 (看 clusteredApp.js 文件 ) : 


const cluster = requlire( cluster  ) ， 
const os = require('os'); 


if (cluster.isMaster) { 
const cpus = os.cpus().length; 
for (let i = 0; 1 < cpus; 1++) { 
cluster.fork( ); 


} 


cluster.on('exit', (worker, code) => { 

If (code != 0 && !worker.exitedAfterDisconnect) { 
console.log('Worker crashed. Starting a new worker'); 
cluster.fork(); 

} 

}); 


process.on('SIGUSR2', () => { 
console.log('Restarting workers'); 
const workers = Object.keys(cluster .workers); 


function restartworker(i) { 
if (i >= workers.length) return,; 
const worker = cluster.workers[workers[i]]; 
console.log( Stopping worker: ${worker.process.pid} ); 
worker .disconnect( ); 


worker.on('exit', () => { 
If (!worker.suicide) return,; 
const newworker = cluster.fork(); 
newWorker.on('listening', () => { 
restartworker(i + 1); 
}); 
}); 


restartworker (0); 
}); 
} else { 
require('./app' ); 


} 


粘性 负载 均衡 


@ 反 向 代理 
e nginx 的 负载 均衡 


Messaging and integration Patterns 


常见 三 类 消息 传递 方式 : 


@ 发 布 /订阅 模式 
e@ 管道 和 任务 分 配 模式 
@ 请 求 /回复 模式 


三 类 模式 都 可 以 点 对 点 通信 或 者 是 使 用 代理 进行 通信 


Le] 


